[論文レビュー] Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations

Tianlu Wang, Jieyu Zhao+3 more|arXiv (Cornell University)|Nov 20, 2018

Adversarial Robustness in Machine Learning参考文献 48被引用数 31

ひとこと要約

本稿では、視覚認識モデルにおける性別バイアスを定量化するための新しい指標として、データセット漏洩（dataset leakage）とモデル漏洩（model leakage）を導入する。バランスの取れたデータセットであっても、深層モデルでは顕著な性別バイアス拡大が生じることを示し、中間表現から性別関連特徴を除去する敵対的デバイアス化手法を提案。この手法によりバイアスは53–67％低減され、精度はほとんど損なわれず、F1スコアの低下は1.2–2.2にとどまる。

ABSTRACT

In this work, we present a framework to measure and mitigate intrinsic biases with respect to protected variables --such as gender-- in visual recognition tasks. We show that trained models significantly amplify the association of target labels with gender beyond what one would expect from biased datasets. Surprisingly, we show that even when datasets are balanced such that each label co-occurs equally with each gender, learned models amplify the association between labels and gender, as much as if data had not been balanced! To mitigate this, we adopt an adversarial approach to remove unwanted features corresponding to protected variables from intermediate representations in a deep neural network -- and provide a detailed analysis of its effectiveness. Experiments on two datasets: the COCO dataset (objects), and the imSitu dataset (actions), show reductions in gender bias amplification while maintaining most of the accuracy of the original models.

研究の動機と目的

• 訓練データに存在するものよりも、深層画像表現における性別バイアス拡大を測定・定量化すること。
• 各性別が各ラベルと均等に共起するバランスの取れたデータセットが、訓練済みモデルにおける性別バイアスを排除するかどうかを調査すること。
• 正解セグメンテーションやマスクアノテーションに依存せずに、中間表現から性別関連特徴を除去する手法を開発すること。
• さまざまなデバイアス化戦略における、モデル精度とバイアス低減のトレードオフを評価すること。
• モデルが性別を明示的に予測するように訓練されていない場合でも、ラベルなしの誤った相関関係（spurious correlations）によりバイアスが拡大することを示すこと。

提案手法

• 性別の予測可能性を、分類器を用いて正解ラベルから推定する『データセット漏洩』と、モデル出力から推定する『モデル漏洩』を導入。モデル漏洩がデータセット漏洩を上回る場合に拡大が生じるとする。
• 二重ストリーム分類器アーキテクチャを採用：一方はラベルから性別を推定（データセット漏洩）、他方はモデル出力から性別を推定（モデル漏洩）。モデル漏洩がデータセット漏洩を上回る場合にバイアス拡大が発生する。
• 敵対的訓練を用いて、中間畳み込み層（例：conv4, conv5）から性別関連特徴を除去。タスク固有の特徴を保持しつつ、性別予測器が失敗するように訓練する。
• U-Netベースのオートエンコーダを用いて、画像空間に於いて性別除去を可視化・適用。顔や衣服などの性別を示す手がかりを特定的にぼかす一方で、物体認識や動作認識の信号を保持する。
• マルチオブジェクティブ損失を用いてモデルを訓練：主タスクには標準的な交差エントロピー損失、敵対的損失は中間特徴における性別予測可能性を最小化するように設計。
• 強力なベースラインと比較：正解セグメンテーションによるマスキング、ぼかし、ノイズ注入、ランダム予測シャッフル。

実験結果

リサーチクエスチョン

• RQ1 性別とラベルの組み合わせが完全にバランスされた訓練データであっても、性別バイアス拡大は継続するか？
• RQ2 正解ラベル（データセット漏洩）と比較して、モデル出力からどれほど性別を推定できるか（モデル漏洩）、これはバイアス拡大に何を示唆するか？
• RQ3 敵対的デバイアス化は、タスク精度を損なわず、モデル漏洩を効果的に低減できるか？
• RQ4 セグメンテーションマスクなどの特権情報やランダムノイズを用いるベースラインと比較して、本手法はバイアス-精度トレードオフにおいてどのように差をつけるか？
• RQ5 本手法は、特定の物体または動作クラスの性能に顕著な悪影響を及えるか？

主な発見

• 各性別が各ラベルと均等に共起する完全にバランスの取れたデータセットであっても、モデルは依然として顕著な性別バイアスを拡大し、モデル漏洩がデータセット漏洩を大幅に上回ることが判明。
• COCOデータセットでは、提案手法によりモデル漏洩が53％低減され、バイアス拡大も53％低減されたが、F1スコアの低下はわずか1.21にとどまった。
• imSituデータセットでは、モデル漏洩が67％低減され、バイアス拡大も67％低減された一方、F1スコアは2.26ポイントの低下にとどまった。
• 敵対的手法は、バイアス低減と精度のトレードオフにおいて最良の性能を示し、ノイズ注入、ぼかし、セグメンテーションベースのマスキングよりも優れた結果を達成した。
• 性能変化プロットにおいてF1スコアがy=x直線に非常に近い位置に分布しており、特定の物体や動詞クラスに顕著な性能低下が見られなかった。
• 定性的な結果から、本手法は顔や衣服などの性別を示す特徴のみを特定的にぼかしており、物体認識や動作認識の情報は保持されていることが確認された。これは、全身マスキングとは対照的である。