[논문 리뷰] Stereotyping and Bias in the Flickr30K Dataset

Emiel van Miltenburg|arXiv (Cornell University)|2016. 05. 19.

Bioinformatics and Genomic Networks인용 수 53

한 줄 요약

이 논문은 플리커30K 이미지 캡션 데이터셋에서 널리 퍼져 있는 스테레오 타입과 언어적 편향을 규명하며, 군중이 제공한 기술서들이 시각적 콘텐츠를 초월해 정당하지 않은 추론과 성별에 기반한 가정을 반영하고 있음을 입증한다. 이는 언어적 편향과 정당하지 않은 추론의 분류 체계를 제안하며, 학습 데이터에 내재된 편향을 인정할 것을 주장하고, 이미지 기술서의 지각적 요소와 맥락적 요소를 구분할 수 있는 모델 개발을 촉구한다.

ABSTRACT

An untested assumption behind the crowdsourced descriptions of the images in the Flickr30K dataset (Young et al., 2014) is that they "focus only on the information that can be obtained from the image alone" (Hodosh et al., 2013, p. 859). This paper presents some evidence against this assumption, and provides a list of biases and unwarranted inferences that can be found in the Flickr30K dataset. Finally, it considers methods to find examples of these, and discusses how we should deal with stereotype-driven descriptions in future applications.

연구 동기 및 목표

• 플리커30K 캡션에 시각적 콘텐츠에서 직접 유추할 수 없는 스테레오 타입이나 편향된 언어가 얼마나 포함되어 있는지 조사하기.
• 이미지 기술서에 나타나는 언어적 편향과 정당하지 않은 추론의 유형을 식별하고 분류하기.
• 캡션은 시각적 입력에 기반한다는 가정을 도전하며, 캡션 작성자들의 기대치와 문화적 규범이 미치는 영향을 부각하기.
• 다중모odal 데이터셋에서 편향을 탐지할 수 있는 방법을 제안하고, 이러한 데이터를 AI 모델 학습에 더 책임감 있게 사용할 것을 주장하기.
• 지각적 요소와 맥락적 해석을 구분할 수 있는 모델 개발을 장려하기.

제안 방법

• 이미지와 그에 해당하는 다섯 개의 군중 기반 캡션을 샘플로 분석하여, 이미지에서만 유추할 수 없는 정보를 포함한 기술서를 식별하기.
• 편향된 기술서를 두 가지 범주로 분류하기: 언어적 편향(사회적 스테레오 타입을 반영하는 어휘 선택에 기인함)과 정당하지 않은 추론(세계 지식에 기반한 추측적 해석).
• 구체적인 사례를 분석하기 위해 정성적 분석을 적용하기. 예를 들어, 여성에게 '핫한'이라는 표현을 사용하거나, 시각적 증거 없이 '사장이 직원을 꾸짖는 장면'이라고 기술하는 것.
• 언어적 편향의 분류 체계를 적용하기. 이는 성별 규범에서 벗어나려는 신호로 사용되는 형용사(예: '강한 여성')와 부정어를 사용해 비준수를 나타내는 것(예: '바보가 아니야').
• 다국어 또는 다문화 데이터를 활용해 모델 학습 시 문화적으로 특정된 스테레오 타입에 과도하게 의존하는 것을 줄이기.
• 지각적 콘텐츠와 맥락적 해석을 별개의 표현으로 학습하는 모델을 주장하며, 이미지를 직접적으로 편향된 기술서로 매핑하는 것과는 반대로 접근하기.

실험 결과

연구 질문

• RQ1 플리커30K 캡션은 시각적 콘텐츠를 초월해 얼마나 많은 정당하지 않은 추론을 반영하고 있는가?
• RQ2 성별에 기반한 형용사나 부정어와 같은 언어적 편향은 이미지 기술서에 어떻게 나타나며, 이는 캡션 작성자의 기대치를 어떻게 드러내는가?
• RQ3 다중모달 데이터셋에서 스테레오 타입 기반 기술서를 체계적으로 분류할 수 있는 체계를 개발할 수 있는가?
• RQ4 다양한 문화적 및 성별 편향이 내재된 데이터로 신경망 기반 이미지 캡션 모델을 학습시키는 데 어떤 영향을 미치는가?
• RQ5 지각적 특징과 스테레오 타입 기반 맥락적 해석을 구분할 수 있는 모델은 어떻게 설계할 수 있는가?

주요 결과

• 플리커30K 데이터셋의 여러 캡션은 이미지에 보이지 않는 정보를 포함하고 있으며, 예를 들어 '사장이 직원을 꾸짖는 장면'이라고 기술하거나 여성에게 '핫한'이라는 표현을 사용함으로써 정당하지 않은 추론을 반영하고 있다.
• 언어적 편향은 성별 규범에서 벗어나려는 신호로 사용되는 형용사, 예를 들어 '강한 여성'과 같이, 스테레오 타입적 기대에서 벗어난다는 신호를 나타내며 나타난다.
• 부정어는 비준수를 나타내는 데 사용되며, '쓰레기 수거부는 바보다'라는 문장은 성별과 지능에 대한 작성자의 잠재적 가정을 드러낸다.
• 이 데이터셋은 문화적 및 성별 스테레오 타입을 반영하고 있으며, 예를 들어 남성이 관리자일 가능성이 더 크고 여성은 부하직원일 가능성이 더 크다는 가정이 시각적 증거 없이도 존재한다.
• 여러 캡션 작성자들 사이에서 일관된 스테레오 타입 기반 기술서가 반복되므로, 이 편향은 무작위가 아니라 체계적이며, 이는 AI 모델이 악성 사회적 규범을 강화할 수 있음을 시사한다.
• 논문은 데이터의 편향을 제거하면 대표성 유지에 해를 끼칠 수 있으므로 제거하지 말고, 모델 설계 시 이를 인지하고 해결책을 마련해야 한다고 결론 내린다. 이는 스테레오 타입의 확산을 방지하기 위함이다.