[논문 리뷰] Towards Equitable Representation in Text-to-Image Synthesis Models with the Cross-Cultural Understanding Benchmark (CCUB) Dataset

Zhixuan Liu, Youeun Shin외 6명|arXiv (Cornell University)|2023. 01. 28.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 교차 문화 이해 벤치마크(CCUB) 데이터셋—8개 문화에서 온 1,095개의 정교하게 선별된 이미지-텍스트 쌍을 사용하여, Stable Diffusion에서의 편향과 모욕적 요소를 줄이기 위한 문화적 인지 기반 텍스트-이미지 합성 방법을 제안한다. CCUB 데이터로 모델을 미세조정하고, GPT-3를 사용해 문화적 맥락을 포함한 프롬프트를 보강함으로써, 이미지 품질을 유지하면서도 문화적 관련성은 향상시키고 모욕적 요소는 감소시킨다.

ABSTRACT

It has been shown that accurate representation in media improves the well-being of the people who consume it. By contrast, inaccurate representations can negatively affect viewers and lead to harmful perceptions of other cultures. To achieve inclusive representation in generated images, we propose a culturally-aware priming approach for text-to-image synthesis using a small but culturally curated dataset that we collected, known here as Cross-Cultural Understanding Benchmark (CCUB) Dataset, to fight the bias prevalent in giant datasets. Our proposed approach is comprised of two fine-tuning techniques: (1) Adding visual context via fine-tuning a pre-trained text-to-image synthesis model, Stable Diffusion, on the CCUB text-image pairs, and (2) Adding semantic context via automated prompt engineering using the fine-tuned large language model, GPT-3, trained on our CCUB culturally-aware text data. CCUB dataset is curated and our approach is evaluated by people who have a personal relationship with that particular culture. Our experiments indicate that priming using both text and image is effective in improving the cultural relevance and decreasing the offensiveness of generated images while maintaining quality.

연구 동기 및 목표

• 편향이 있는 대규모 데이터셋으로 훈련된 텍스트-이미지 합성 모델에서의 공정하지 않은 문화적 표현 부족 문제를 해결한다.
• 특히 소외된 문화 집단을 대상으로 하는 해로운 스테레오타입과 모욕적 표현을 줄인다.
• 다시 학습하지 않고도 사전 훈련된 모델을 문화적으로 관련성이 높은 이미지 생성에 맞게 확장 가능한 방법을 개발한다.
• 현지 문화 전문가를 활용해 문화적 관련성과 모욕적 요소를 평가하여 진정성 있는 피드백을 확보한다.
• 향후 연구를 지원하기 위해 공개 가능한 벤치마크 데이터셋(CCUB)을 구축한다.

제안 방법

• 현지 문화 전문가들이 수집한 8개 국가에서 온 1,095개의 이미지-텍스트 쌍을 포함한 교차 문화 이해 벤치마크(CCUB) 데이터셋을 정제했다.
• CCUB 데이터로 Stable Diffusion 모델을 미세조정하여 문화별 시각적 개념을 학습하고 문화적 일치도를 향상시켰다.
• CCUB의 문화적 인지 기반 텍스트 데이터로 GPT-3 모델을 훈련시켜 입력 프롬프트에 관련된 문화적 세부 정보(예: 현지 관습, 도구, 복장 등)를 자동으로 보강하도록 했다.
• 미세조정된 이미지 생성과 GPT-3 기반 프롬프트 보강을 조합하여 시각적 및 의미적 문화적 관련성을 모두 향상시켰다.
• 5개 국가의 72명의 현지 참가자들이 참여한 설문 조사를 통해 이미지 품질, 문화적 일치도, 모욕적 요소를 비교 평가했다.
• 기본 기준으로는 프롬프트에 국가명을 단순히 추가하는 방식을 사용하여 제안된 기법들의 영향을 분리 분석했다.

실험 결과

연구 질문

• RQ1 소규모이고 문화적으로 선별된 데이터셋으로 사전 훈련된 텍스트-이미지 모델을 미세조정하면 생성된 이미지의 문화적 관련성이 향상되는가?
• RQ2 미세조정된 LLM을 사용해 자동으로 프롬프트를 보강하면 이미지 품질이 떨어지지 않으면서도 문화적 특이성이 향상되는가?
• RQ3 시각적 미세조정과 의미적 프롬프트 보강을 조합한 방법이 기준 방법에 비해 모욕적 요소를 줄이고 문화적 일치도를 향상시키는 데 얼마나 효과적인가?
• RQ4 현지 문화 전문가들이 AI 생성 이미지의 문화적 정확성과 모욕적 요소를 신뢰성 있게 평가할 수 있는가?
• RQ5 데이터셋 내 국가 기반의 문화 표현이 실제의 문화 다양성과 교차성에 얼마나 일반화되는가?

주요 결과

• 시각적 미세조정과 프롬프트 보강을 조합한 방법은 기준 방법에 비해 문화적 일치도에서 뚜렷한 우월성을 보였으며, 기준 대비 38%의 모욕적 요소 감소를 기록했다.
• 미세조정만으로도 문화적 일치도는 향상되고 모욕적 요소는 감소했지만, 텍스트-이미지 일치도에는 유의미한 영향을 주지 못했다.
• 프롬프트 보강만으로도 문화적 일치도는 향상되었지만, 모욕적 요소는 감소하지 않았고, 프롬프트와 생성된 콘텐츠 간 불일치로 인해 텍스트-이미지 일치도는 약간 떨어졌다.
• 조합된 방법은 가장 균형 잡힌 성과를 보였으며, 문화적 일치도를 향상시키면서도 텍스트-이미지 일치도는 유지하거나 약간 향상시키고, 모욕적 요소는 감소시켰다.
• 현지 평가자들은 조합된 방법으로 생성된 이미지가 기준 방법에 비해 더 진정성 있고 스테레오타입이 덜 강한 것으로 일관되게 평가했다.
• CCUB 데이터셋은 높은 문화적 특이성을 보였으며, 다양한 문화를 정확하고 맥락에 적합한 방식으로 표현하도록 모델을 이끌어내는 데 효과적이었다.