[논문 리뷰] Survey of Bias In Text-to-Image Generation: Definition, Evaluation, and Mitigation

Yixin Wan, Arjun Subramonian외 7명|arXiv (Cornell University)|2024. 04. 01.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 종합 검토는 텍스트에서 이미지 생성(T2I) 모델의 편향에 대한 첫 번째 종합적 분석을 제공하며, 성별 표현, 피부 톤, 지오문화적 편향의 세 가지 차원에서 정의, 평가 방법 및 완화 전략을 검토한다. 특히 지오문화적 편향, 비이원성 정체성 표현, 통합된 평가 프레임워크 부족 등 심각한 격차를 드러내며, 인간 중심적이고 적응형이며 종신적인 완화 접근 방식을 통해 공정한 AI 시스템을 구축할 것을 주장한다.

ABSTRACT

The recent advancement of large and powerful models with Text-to-Image (T2I) generation abilities -- such as OpenAI's DALLE-3 and Google's Gemini -- enables users to generate high-quality images from textual prompts. However, it has become increasingly evident that even simple prompts could cause T2I models to exhibit conspicuous social bias in generated images. Such bias might lead to both allocational and representational harms in society, further marginalizing minority groups. Noting this problem, a large body of recent works has been dedicated to investigating different dimensions of bias in T2I systems. However, an extensive review of these studies is lacking, hindering a systematic understanding of current progress and research gaps. We present the first extensive survey on bias in T2I generative models. In this survey, we review prior studies on dimensions of bias: Gender, Skintone, and Geo-Culture. Specifically, we discuss how these works define, evaluate, and mitigate different aspects of bias. We found that: (1) while gender and skintone biases are widely studied, geo-cultural bias remains under-explored; (2) most works on gender and skintone bias investigated occupational association, while other aspects are less frequently studied; (3) almost all gender bias works overlook non-binary identities in their studies; (4) evaluation datasets and metrics are scattered, with no unified framework for measuring biases; and (5) current mitigation methods fail to resolve biases comprehensively. Based on current limitations, we point out future research directions that contribute to human-centric definitions, evaluations, and mitigation of biases. We hope to highlight the importance of studying biases in T2I systems, as well as encourage future efforts to holistically understand and tackle biases, building fair and trustworthy T2I technologies for everyone.

연구 동기 및 목표

• 성별 표현, 피부 톤, 지오문화적 편향이라는 세 핵심 차원에서 텍스트에서 이미지 생성(T2I) 모델의 편향에 관한 기존 연구를 체계적으로 검토하고 통합한다.
• 이전 연구가 T2I 시스템에서 편향을 어떻게 정의하고 평가하며 완화하는지 식별하고 분석하여 일관성 부족과 방법론적 결함을 드러낸다.
• 지오문화적 편향의 부족한 다루움, 비이원성 정체성에 대한 관심 부족, 통합된 평가 프레임워크의 부재 등 핵심 연구 격차를 폭 드러낸다.
• 사회적 기준과 공동체의 요구에 따라 변화하는 미래 연구 방향을 인간 중심의 정의, 동적 평가, 적응형 및 종신적 완화 전략에 중점을 두어 제안한다.
• 연구자와 정책 입안자들이 윤리적 책임감 있는 AI 설계 및 구현으로 나아가도록 유도함으로써 공정하고 신뢰할 수 있는 T2I 기술 개발을 지원한다.

제안 방법

• 성별 표현, 피부 톤, 지오문화적 편향에 중점을 둔 36편의 동료 심사된 논문을 대상으로 체계적인 문헌 검토를 수행했다.
• 세 가지 편향 차원에 걸쳐 연구가 편향을 어떻게 개념화하고, 평가 방법론과 완화 기법을 적용하는지 기반으로 연구를 분류하고 분석했다.
• 편향의 정의를 직업적 연관성, 권력 관계, 전형적인 물체, 이미지 품질 등의 특정 측면과 연결하여 주제 군집을 식별했다.
• 연구 간 평가 지표와 데이터셋의 다양성과 일관성을 평가하여 분열과 표준화 부족을 확인했다.
• 사회적 기준과 공동체 피드백에 따라 변화하는 미래 연구를 위한 프레임워크를 제안하며, 적응형이고 종신적인 완화 전략을 강조했다.
• 성별, 인종, 문화에 대한 시각적 대체 지표에 의존함으로써 발생할 수 있는 신원 분류의 윤리적 리스크를 제기하였으며, 감시나 억압적 응용 분야에서의 오용을 경계했다.

실험 결과

연구 질문

• RQ1 기존 연구들은 성별 표현, 피부 톤, 지오문화적 차원에서 텍스트에서 이미지 생성 모델의 편향을 어떻게 정의하고 있는가?
• RQ2 T2I 모델의 편향을 측정하기 위해 일반적으로 사용되는 평가 지표와 데이터셋은 무엇이며, 연구 간 표준화 수준은 어느 정도인가?
• RQ3 어떤 완화 전략이 제안되었고, 다차원적 편향을 종합적으로 해결하는 데 얼마나 효과적인가?
• RQ4 왜 현재 연구들에서는 성별 및 피부 톤 편향에 비해 지오문화적 편향이 크게 다루어지지 않는가?
• RQ5 미래 연구는 어떻게 인간 중심적이고 적응형이며 종신적인 편향 완화 접근 방식을 개발할 수 있는가? 이는 변화하는 사회적 가치와 공동체의 요구에 대응할 수 있어야 한다.

주요 결과

• 성별 및 피부 톤 편향은 직업적 연관성과 관련하여 널리 연구되었지만, 지오문화적 편향은 문헌에서 크게 다루어지지 않았다.
• 대부분의 성별 편향 연구는 비이원성 성별 정체성을 고려하지 않아 T2I 모델 출력에서 배제된 표현을 초래한다.
• T2I 모델의 편향에 대한 통합된 평가 프레임워크가 없으며, 지표와 데이터셋이 연구 간으로 크게 다를 뿐 아니라 결과의 일관성과 비교 가능성에 결함이 있다.
• 현재의 완화 방법은 종합적으로 편향을 해결하는 데 거의 효과가 없으며, 일반적으로 여러 차원의 편향을 동시에나 지속 가능하게 다루지 못한다.
• 편향 측정 자체에 편향된 분류 방법(인간 및 자동화된 방법)이 사용되어 평가 관행이 손상되고 있다.
• 동적이고 적응형이며 종신적인 완화 전략의 부재는 사회적 기준과 문화적 표현이 시간이 지남에 따라 변화하는 데도 불구하고 T2I 시스템의 장기적 공정성을 제한한다.