[논문 리뷰] DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generation Models

Jaemin Cho, Abhay Zala외 1명|arXiv (Cornell University)|2022. 02. 08.

Multimodal Machine Learning Applications인용 수 24

한 줄 요약

이 논문은 PaintSkills라는 진단 데이터셋을 도입하여 텍스트-이미지 모델의 시각적 추론(객체 인식, 카운팅, 공간 관계)을 측정하고, 자동화 및 인간 평가를 사용하여 생성된 이미지의 성별/피부 톤 편향을 평가한다.

ABSTRACT

Recently, DALL-E, a multimodal transformer language model, and its variants, including diffusion models, have shown high-quality text-to-image generation capabilities. However, despite the realistic image generation results, there has not been a detailed analysis of how to evaluate such models. In this work, we investigate the visual reasoning capabilities and social biases of different text-to-image models, covering both multimodal transformer language models and diffusion models. First, we measure three visual reasoning skills: object recognition, object counting, and spatial relation understanding. For this, we propose PaintSkills, a compositional diagnostic evaluation dataset that measures these skills. Despite the high-fidelity image generation capability, a large gap exists between the performance of recent models and the upper bound accuracy in object counting and spatial relation understanding skills. Second, we assess the gender and skin tone biases by measuring the gender/skin tone distribution of generated images across various professions and attributes. We demonstrate that recent text-to-image generation models learn specific biases about gender and skin tone from web image-text pairs. We hope our work will help guide future progress in improving text-to-image generation models on visual reasoning skills and learning socially unbiased representations. Code and data: https://github.com/j-min/DallEval

연구 동기 및 목표

• PaintSkills를 도입하여 T2I 모델의 구성적 시각 추론(객체 인식, 카운팅, 공간 관계)을 평가하기 위한 진단 데이터셋.
• 상한 정확도와 비교하여 현재 모델이 카운팅과 공간 추론에서 얼마나 잘 수행하는지 정량화한다.
• 자동 탐지기와 인간 평가를 사용하여 생성된 이미지에서의 성별 및 피부 톤 편향을 평가한다.
• 생성된 이미지의 편향이 웹 이미지-텍스트 쌍에서의 학습 데이터에 어떻게 반영되는지 분석한다.
• T2I 모델의 시각적 추론을 개선하고 사회적 편향을 줄이기 위한 지침을 제시한다.

제안 방법

• 생성된 이미지에서 DETR 기반 객체 탐지를 통해 세 가지 시각 추론 기술(객체 인식, 객체 카운팅, 공간 관계 이해)을 정의하고 측정한다.
• 유니티 기반 3D 시뮬레이터를 사용하여 균일한 객체/관계 분포를 가진 PaintSkills를 생성하여 편향을 피한다.
• PaintSkills 테스트 분할에서 DETR 탐지기를 학습시켜 상한 오라클 정확도를 얻는다.
• 편향 분석용 진단 프롬트를 생성하고(성별 및 직업) 자동 탐지기(BLIP-2, FAN, TRUST)를 사용해 성별, 피부 톤 및 속성을 검출하되 인간 검증을 함께 수행한다.
• 균일한 기준선에 대한 분포와 평균 절대 편차(MAD)를 사용해 편향을 계산하여 성별/피부 톤 편향을 정량화한다.

실험 결과

연구 질문

• RQ1 현재의 텍스트-이미지 모델이 오라클에 비해 객체를 카운팅하고 공간 관계를 이해하는 능력은 어느 정도인가?
• RQ2 직업 관련 설명을 이용한 프롬프트에서 텍스트-이미지 모델이 성별 및 피부 톤 편향을 보이나?
• RQ3 생성된 이미지의 시각적 추론 및 편향 평가에서 자동 탐지기가 인간 판단과 얼마나 잘 일치하는가?
• RQ4 관찰된 편향에 기여하는 학습 데이터의 요인은 무엇이며, 평가가 개선에 어떻게 기여할 수 있는가?

주요 결과

평가자	이미지	객체 인식 (%)	객체 카운팅 (%)	공간 관계 이해 (%)	평균 (%)
GT (oracle)	N/A	100.0	97.8	96.2	98.0
GT shuffled (random)	N/A	6.3	1.7	0.3	2.8
DALL-E Small	N/A	57.5	18.2	2.4	26.0
minDALL-E	N/A	89.9	47.5	50.7	62.7
Stable Diffusion	N/A	96.2	37.8	7.9	47.3

• Stable Diffusion은 객체 인식 정확도(96.2%)에서 가장 높지만 카운팅(37.8%)과 공간 관계(7.9%)에서는 뒤처져 있어 복합 추론의 차이를 시사한다.
• minDALL-E는 객체 카운팅(47.5%)과 공간(50.7%)에서 Stable Diffusion보다 균형을 잘 맞추지만 객체 인식(89.9%)에서는 뒤처진다.
• DETR 기반 평가가 모든 기술에서 인간 판단과 일치하여 자동화된 지표 접근의 타당성을 뒷받침한다.
• 모델은 직업에 따라 다른 성별 편향을 보이며, 프롬프트에서 남성 표현으로의 경향이 일반적이고 각 모델(minDALL-E, Karlo, Stable Diffusion)별 편향이 다르게 나타난다.
• 피부 톤 편향은 모델 전반에 걸쳐 중간 MST 값(5-6) 주위에 집중되고 MAD 점수가 비균일한 분포를 나타낸다.
• PaintSkills 데이터셋 크기는 부분 데이터(50-100%)로도 기술을 학습하기에 충분하여 평가 프레임워크의 강건함을 시사한다.