[論文レビュー] Towards Fairness in Visual Recognition: Effective Strategies for Bias Mitigation

Zeyu Wang, Klint Qinami+5 more|arXiv (Cornell University)|Nov 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 21

ひとこと要約

本論文は、視覚認識におけるバイアス低減を評価するための制御されたベンチマークを導入し、単純なドメインに依存しない訓練戦略が、複雑な敵対的アプローチを上回ることを示している。本手法は、CelebAにおける属性分類における性別バイアスを低減するとともに、mAPを74.7%から76.3%に向上させた。

ABSTRACT

Computer vision models learn to perform a task by capturing relevant statistics from training data. It has been shown that models learn spurious age, gender, and race correlations when trained for seemingly unrelated tasks like activity recognition or image captioning. Various mitigation techniques have been presented to prevent models from utilizing or learning such biases. However, there has been little systematic comparison between these techniques. We design a simple but surprisingly effective visual recognition benchmark for studying bias mitigation. Using this benchmark, we provide a thorough analysis of a wide range of techniques. We highlight the shortcomings of popular adversarial training approaches for bias mitigation, propose a simple but similarly effective alternative to the inference-time Reducing Bias Amplification method of Zhao et al., and design a domain-independent training technique that outperforms all other methods. Finally, we validate our findings on the attribute classification task in the CelebA dataset, where attribute presence is known to be correlated with the gender of people in the image, and demonstrate that the proposed technique is effective at mitigating real-world gender bias.

研究の動機と目的

• 深層視覚認識モデルにおけるバイアス低減手法の間の体系的比較の欠如に取り組むこと。
• トレーニングデータにおける誤った相関（例：性別-属性の歪み）を分離・定量化できる制御されたベンチマークを設計すること。
• 敵対的訓練、バイアス拡大低減、ドメイン固有の学習といった既存の低減戦略を、同一条件下で評価・比較すること。
• 実世界のデータ、特にCelebAの属性分類タスクにおける性別バイアスを、実証的に検証すること。
• ドメインに依存しない訓練手法を提案・実証し、ドメイン固有の適応を必要とせずにバイアスを効果的に低減できることを示すこと。

提案手法

• 入力属性（例：性別）とラベル（例：行動）の間の制御された誤った相関を導入するために、データセット拡張を用いた合成視覚認識ベンチマークを構築する。
• 共有特徴と各ドメイン（例：男性／女性）ごとの別々の予測ヘッドを持つ二本のブランチを備えたCNNを訓練する。これにより、ドメイン固有およびドメインに依存しない推論が可能になる。
• ドメイン条件付き確率を用いて、ドメイン固有の出力の重み付き平均として予測を計算するドメインに依存しない推論戦略を実装する。
• 分類損失とドメイン識別器損失を組み合わせたマルチタスク損失を用い、感受性のある属性をタスク関連特徴から分離させることを促進する。
• 比較のため、ZhaoらのRBA（バイアス拡大低減）手法による推論時補正を適用する。
• mAP（平均平均精度）とバイアス拡大（BA）という指標を用いてモデルを評価し、BAは性別と属性予測の相関を測定する。

実験結果

リサーチクエスチョン

• RQ1 視覚認識における誤った相関が制御された状況下で、さまざまなバイアス低減手法はどのように性能を発揮するか？
• RQ2 敵対的訓練は、視覚認識タスクにおける精度を損なわせることなく、バイアスを効果的に低減できるか？
• RQ3 ドメインに依存しない訓練戦略は、ドメイン固有または敵対的アプローチを上回ってバイアス低減に効果的か？
• RQ4 属性における性別アンバランスの度合いが、実世界データにおける提案手法の性能向上に与える影響は何か？
• RQ5 提案手法は、CelebAのようなマルチラベル、実世界のベンチマークに一般化可能であり、高い精度と公平性を維持できるか？

主な発見

• 敵対的訓練はバイアス拡大を低減する（BA：0.010 → 0.019）が、mAPを低下させる（ベースラインの74.7%対71.9%）ため、公平性と精度のトレードオフが生じている。
• ドメインに依存しない訓練手法は、最高のmAP（76.3%）と最小のバイアス拡大（-0.035）を達成し、ベースラインおよび敵対的ベースラインを上回った。
• ドメインに依存しないモデルは、CelebAテストセットにおいて、ベースラインよりmAPを1.6ポイント向上させた。特に、性別に著しいアンバランス（例：80%以上の歪み）を示す属性で、最も大きな向上を示した。
• 属性の歪みと性能向上の間には強い相関（ρ = 0.709）が確認され、バイアスが顕著な場合に本手法が最も効果的であることが裏付けられた。
• オーバーサンプリングは最高のmAP（77.6%）を達成したが、高歪み・低類似度の設定では効果が薄く、データ拡張とアーキテクチャ設計の間のトレードオフが顕著に現れた。
• 提案手法は、複雑な敵対的または推論時補正手法よりも単純で効果的であり、特に実世界のマルチラベル設定において顕著な優位性を示した。