[논문 리뷰] Bias in Generative AI

Mi Zhou, Vibhanshu Abhishek외 3명|arXiv (Cornell University)|2024. 03. 05.

Computability, Logic, AI Algorithms인용 수 25

한 줄 요약

이 논문은 Midjourney, Stable Diffusion, 및 DALLE 2가 생성한 이미지를 분석하여 성별, 인종, 그리고 미묘한 표현 편향을 식별하고, 여성 및 아프리카계 미국인에 대한 일관된 편향과 다양한 모델에서 얼굴 표정의 미묘한 편향을 발견합니다.

ABSTRACT

This study analyzed images generated by three popular generative artificial intelligence (AI) tools - Midjourney, Stable Diffusion, and DALLE 2 - representing various occupations to investigate potential bias in AI generators. Our analysis revealed two overarching areas of concern in these AI generators, including (1) systematic gender and racial biases, and (2) subtle biases in facial expressions and appearances. Firstly, we found that all three AI generators exhibited bias against women and African Americans. Moreover, we found that the evident gender and racial biases uncovered in our analysis were even more pronounced than the status quo when compared to labor force statistics or Google images, intensifying the harmful biases we are actively striving to rectify in our society. Secondly, our study uncovered more nuanced prejudices in the portrayal of emotions and appearances. For example, women were depicted as younger with more smiles and happiness, while men were depicted as older with more neutral expressions and anger, posing a risk that generative AI models may unintentionally depict women as more submissive and less competent than men. Such nuanced biases, by their less overt nature, might be more problematic as they can permeate perceptions unconsciously and may be more difficult to rectify. Although the extent of bias varied depending on the model, the direction of bias remained consistent in both commercial and open-source AI generators. As these tools become commonplace, our study highlights the urgency to identify and mitigate various biases in generative AI, reinforcing the commitment to ensuring that AI technologies benefit all of humanity for a more inclusive future.

연구 동기 및 목표

• 생성형 AI 이미지 합성에서 편향에 대한 연구를 촉진한다.
• 대중적인 생성기(Midjourney, Stable Diffusion, DALLE 2)가 성별 및 인종 편향을 보이는지 평가한다.
• 직업별로 얼굴 표정 및 외모의 미묘한 편향을 식별한다.
• 노동력 통계 및 구글 이미지 결과와의 비교를 통해 심각도를 평가한다.

제안 방법

• 세 가지 인기 AI 생성기(Midjourney, Stable Diffusion, DALLE 2)를 사용하여 직업별로 생성된 이미지 집합을 분석한다.
• 출력물에서 체계적 성별 및 인종 편향을 평가한다.
• 나이, 미소, 표정 등 미묘한 편향 패턴을 위해 얼굴 표정 및 외모를 검토한다.
• 관찰된 편향을 노동력 통계 및 구글 이미지 결과와 비교하여 심각도를 맥락화한다.
• 상업용 모델과 오픈 소스 모델 간의 편향 방향을 비교한다.

실험 결과

연구 질문

• RQ1 주요 생성형 AI 이미지 도구들이 여성에 대한 성 편향을 보이는가?
• RQ2 이 도구들이 아프리카계 미국인에 대한 인종 편향을 보이는가?
• RQ3 성별에 따라 나이, 미소, 분노 같은 얼굴 표정 및 외모에 미묘한 편향이 존재하는가?
• RQ4 상업용 모델과 오픈 소스 모델 간에 편향 패턴이 일관적인가?

주요 결과

• 세 가지 생성기 모두 여성과 아프리카계 미국인에 대한 편향을 보인다.
• 관찰된 성별 및 인종 편향은 노동력 통계나 구글 이미지보다 더 두드러진 편향으로 나타난다.
• 여성은 더 어리게, 더 많은 미소를 보이는 반면, 남성은 더 나이가 많고 더 중립적이거나 분노한 표정을 보이는 경향이 있다.
• 편향 방향은 상업용 모델과 오픈소스 모델 간에 일관되지만, 모델별로 크기가 다르다.
• 미묘한 편향은 탐지하기 더 어렵지만 무의식적 인식으로 인해 더 큰 영향을 미칠 수 있다.