[논문 리뷰] Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints

Jieyu Zhao, Tianlu Wang외 3명|arXiv (Cornell University)|2017. 07. 29.

Multimodal Machine Learning Applications참고 문헌 23인용 수 123

한 줄 요약

이 논문은 구조화된 예측 모델이 시각 작업에서 성별 편향을 증폭시키며, Lagrangian relaxation을 이용한 코퍼스 수준의 제약 보정(RBA)을 제안해 편향 증폭을 최소한의 성능 영향으로 줄일 수 있음을 보여준다.

ABSTRACT

Language is increasingly being used to define rich visual recognition problems with supporting image collections sourced from the web. Structured prediction models are used in these tasks to take advantage of correlations between co-occurring labels and visual input but risk inadvertently encoding social biases found in web corpora. In this work, we study data and models associated with multilabel object classification and visual semantic role labeling. We find that (a) datasets for these tasks contain significant gender bias and (b) models trained on these datasets further amplify existing bias. For example, the activity cooking is over 33% more likely to involve females than males in a training set, and a trained model further amplifies the disparity to 68% at test time. We propose to inject corpus-level constraints for calibrating existing structured prediction models and design an algorithm based on Lagrangian relaxation for collective inference. Our method results in almost no performance loss for the underlying recognition task but decreases the magnitude of bias amplification by 47.5% and 40.5% for multilabel classification and visual semantic role labeling, respectively.

연구 동기 및 목표

• 시각 인식 데이터셋 및 모델에서 성별 편향과 증폭을 정량화한다.
• 구조화된 예측기가 편향된 데이터 코퍼스에서 학습될 때 기존 편향을 증폭시킨다는 것을 입증한다.
• 훈련 분포 통계에 대한 예측을 제약하는 코퍼스 수준의 보정(RBA)을 도입한다.
• vSRL 및 MLC에서 RBA가 편향 증폭을 감소시키는지 확인하고, 성능 손실은 무시할 만큼 작음을 보여준다.
• 구조화된 예측에서 편향을 분석하고 완화하기 위한 재사용 가능한 프레임워크를 제공한다.

제안 방법

• 바(o,g)로 나타난 편향 점수 b(o,g)를 결과 o에 대해 인구통계학적 g의 발생 비율로 정의한다.
• 학습 세트의 편향 b*(o,g)와 개발/테스트 세트의 편향 ðec(o,g)Þ를 예측기 하에서 비교하여 학습-증폭 편향을 계산한다.
• 학습 데이터에서 관찰되는 인구통계학적 분포(예: 동사별 성별 비율)를 강제하는 코퍼스 수준 제약을 제안한다.
• 코퍼스 수준 제약 하에서 테스트 인스턴스의 예측을 공동으로 최적화하기 위해 Lagrangian relaxation을 적용하고, 승수 ðlambdaÞ를 반복적으로 갱신한다.
• 기존 CRF 기반 vSRL 및 CRF 유사 MLC 모델과의 심한 기저 추론 알고리즘 변경 없이 RBA를 통합한다.

실험 결과

연구 질문

• RQ1 시각 인식 데이터셋에 상당한 성별 편향이 존재하며 이를 학습한 모델이 이를 증폭시키는가?
• RQ2 학습 데이터에서 보정된 코퍼스 수준 제약이 예측 성능을 해치지 않으면서 편향 증폭을 완화할 수 있는가?
• RQ3 Lagrangian-relaxation 기반 보정(RBA)이 다양한 구조화 예측 작업(vSRL 및 MLC)에서 얼마나 효과적인가?
• RQ4 RBA를 적용할 때 편향 감소와 작업 정확도 간의 트레이드오프는 어떠한가?

주요 결과

• Both imSitu vSRL and MS-COCO MLC datasets exhibit substantial gender bias toward men across verbs and objects.
• Training on biased data amplifies bias in predictions (e.g., mean bias amplification 0.050 for vSRL development, 0.036 for MLC development).
• RBA reduces average bias amplification by 40.5% for vSRL and by 47.5% for MLC on test sets.
• RBA decreases the distance between training and development/test set bias distributions by substantial margins (e.g., >39% in vSRL).
• RBA yields substantial bias reduction with negligible loss in underlying recognition performance (top-1 accuracy for vSRL and top-1 mAP for MLC).
• On Table-based results, RBA reduces violations and maintained or slightly decreased performance across both tasks.