[論文レビュー] Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints

Jieyu Zhao, Tianlu Wang+3 more|arXiv (Cornell University)|Jul 29, 2017

Multimodal Machine Learning Applications参考文献 23被引用数 123

ひとこと要約

本論文は、構造化予測モデルが視覚タスクにおける性別バイアスを増幅させることを示し、ラグランジュ緩和を用いたコーパスレベルの制約付きキャリブレーションでバイアスの増幅を最小限のタスク性能影響で低減するRBAを提案する。

ABSTRACT

Language is increasingly being used to define rich visual recognition problems with supporting image collections sourced from the web. Structured prediction models are used in these tasks to take advantage of correlations between co-occurring labels and visual input but risk inadvertently encoding social biases found in web corpora. In this work, we study data and models associated with multilabel object classification and visual semantic role labeling. We find that (a) datasets for these tasks contain significant gender bias and (b) models trained on these datasets further amplify existing bias. For example, the activity cooking is over 33% more likely to involve females than males in a training set, and a trained model further amplifies the disparity to 68% at test time. We propose to inject corpus-level constraints for calibrating existing structured prediction models and design an algorithm based on Lagrangian relaxation for collective inference. Our method results in almost no performance loss for the underlying recognition task but decreases the magnitude of bias amplification by 47.5% and 40.5% for multilabel classification and visual semantic role labeling, respectively.

研究の動機と目的

• 視覚認識データセットとモデルにおける性別バイアスとその増幅を定量化する。
• 構造化予測子が biased なコーパスで学習した場合に既存のバイアスを増幅することを示す。
• 訓練データの統計を予測に制約として課すコーパスレベルのキャリブレーション（RBA）を導入する。
• RBAが vSRL および MLC における実質的な性能損失なしにバイアスの増幅を低減することを示す。
• 構造化予測におけるバイアスを分析・緩和するための再利用可能なフレームワークを提供する。

提案手法

• 偏りスコア b(o,g) を、結果 o に対するデモグラフィック g の出現割合として定義する。
• predictor の下で訓練データセットの偏り b*(o,g) と開発/テストセットの偏り 参照(˜ec(o,g)) を比較して偏りの増幅を算出する。
• 訓練データで観測されるデモグラフィック分布（例: 動詞ごとの性別比）を強制するコーパスレベルの制約を提案する。
• コーパスレベルの制約の下でテストサンプルの予測を同時に最適化するためにラグランジュ緩和を適用し、乗数 ˜lambda を反復的に更新する。
• RBA を既存の CRF ベースの vSRL および CRF 的な MLC モデルと統合し、基盤の推論アルゴリズムへの重い変更を加えずに実装する。

実験結果

リサーチクエスチョン

• RQ1 視覚認識データセットには有意な性別バイアスが含まれており、それを訓練されたモデルが増幅するのか。
• RQ2 訓練データからキャリブレーションされたコーパスレベルの制約は予測性能を損なうことなくバイアス増幅を緩和できるのか。
• RQ3 ラグランジュ緩和に基づくキャリブレーション（RBA）はさまざまな構造予測タスク（vSRL と MLC）でどれほど効果的か。
• RQ4 RBA を適用した場合のバイアス削減とタスク精度とのトレードオフはどうなるのか。

主な発見

問題	設定	違反	バイアス増幅	性能 (%)
vSRL (imSitu)	Development Set (CRF)	154	0.050	24.07
vSRL (imSitu)	Development Set (CRF+RBA)	107	0.024	23.97
vSRL (imSitu)	Test Set (CRF)	149	0.042	24.14
vSRL (imSitu)	Test Set (CRF+RBA)	102	0.025	24.01
MLC (MS-COCO)	Development Set (CRF)	40	0.032	45.27
MLC (MS-COCO)	Development Set (CRF+RBA)	24	0.022	45.19
MLC (MS-COCO)	Test Set (CRF)	38	0.040	45.40
MLC (MS-COCO)	Test Set (CRF+RBA)	16	0.021	45.38

• Both imSitu vSRL and MS-COCO MLC datasets exhibit substantial gender bias toward men across verbs and objects.
• Training on biased data amplifies bias in predictions (e.g., mean bias amplification 0.050 for vSRL development, 0.036 for MLC development).
• RBA reduces average bias amplification by 40.5% for vSRL and by 47.5% for MLC on test sets.
• RBA decreases the distance between training and development/test set bias distributions by substantial margins (e.g., >39% in vSRL).
• RBA yields substantial bias reduction with negligible loss in underlying recognition performance (top-1 accuracy for vSRL and top-1 mAP for MLC).
• On Table-based results, RBA reduces violations and maintained or slightly decreased performance across both tasks.