[論文レビュー] Contrastive Examples for Addressing the Tyranny of the Majority

Viktoriia Sharmanska, Lisa Anne Hendricks+2 more|arXiv (Cornell University)|Apr 14, 2020

Terrorism, Counterterrorism, and Political Violence参考文献 50被引用数 10

ひとこと要約

本論文は、生成対抗ネットワーク（GANs）を用いて保護属性（例：性別、肌色）を操作した対照的例（合成データポイント）を生成する、新しいバイアス除去フレームワークを提案する。このフレームワークにより、訓練データのバランスが取れるようになる。本手法では、実際のデータと対照的例の両方を用いてモデルを訓練することで、表形式データ（Adult Income）および画像データ（CelebA, DiF）において、公平性と精度が向上し、公平性の乖離が低減するとともに、モデルの解釈可能性と頑健性が向上する。

ABSTRACT

Computer vision algorithms, e.g. for face recognition, favour groups of individuals that are better represented in the training data. This happens because of the generalization that classifiers have to make. It is simpler to fit the majority groups as this fit is more important to overall error. We propose to create a balanced training dataset, consisting of the original dataset plus new data points in which the group memberships are intervened, minorities become majorities and vice versa. We show that current generative adversarial networks are a powerful tool for learning these data points, called contrastive examples. We experiment with the equalized odds bias measure on tabular data as well as image data (CelebA and Diversity in Faces datasets). Contrastive examples allow us to expose correlations between group membership and other seemingly neutral features. Whenever a causal graph is available, we can put those contrastive examples in the perspective of counterfactuals.

研究の動機と目的

• データの偏りによって下位互換グループがバイアスの影響を受ける機械学習における「大多数の支配」（tyranny of the majority）を是正すること。
• 因果的仮定や構造方程式に依存しない前処理フェアネス手法の開発により、因果グラフが存在しない実世界のデータにも適用可能にすること。
• 保護属性（例：性別、人種）を操作してバランスの取れた訓練データを生成する合成データポイントを用いることで、モデルの公平性と精度を向上させること。
• 意味を持つ対照的例を生成することで、Grad-CAMを用いたモデルの注目領域可視化を可能にし、フェアなモデルの解釈可能性を高めること。
• 予測の一貫性を強制することで、拒否学習（rejection learning）を支援し、モデルの信頼性を向上させること。

提案手法

• 訓練データ内の保護属性（例：性別、肌色）を操作することで、対照的例を生成する。他の特徴量やラベルは維持する。
• 事前学習済みのGANを用いて、元の入力と意味的に整合性を持つ高品質な対照的例を合成し、画像および表形式データの両方で利用可能にする。
• 実際のデータと対照的例の両方を組み合わせたデータセットで分類器を訓練することで、特に下位互換グループにおいて公平性と汎化性能が向上する。
• 元の入力と対照的入力の予測が一致するよう出力の一貫性制約を課し、予測が食い違う場合には拒否学習を可能にする。
• Grad-CAMを活用してモデルの注目領域を可視化し、対照的例を用いて訓練したモデルが、顔の関連領域（例：笑顔の際の口元）に注目し、保護属性に依存する割合を減らしていることを示す。

実験結果

リサーチクエスチョン

• RQ1 保護属性を操作した合成データポイントの生成により、因果モデルを必要とせずに機械学習モデルの公平性を向上させることができるか？
• RQ2 GANを用いて意味的に整合性を保ちつつグループの代表をバランスさせる対照的例を生成する手法の有効性はどの程度か？
• RQ3 実際のデータと対照的例の両方を用いて訓練することで、保護属性グループ間の公平性乖離（例：TPR、FPR、受容率）がどの程度低減されるか？
• RQ4 対照的例は、予測における保護属性への依存を軽減し、モデルの解釈可能性を向上させることができるか？
• RQ5 元の入力と対照的入力の間で予測の一貫性を強制することで、モデルの信頼性と公平性が向上するか？

主な発見

• CelebAデータセットにおいて、本手法を用いた訓練では、ベースラインのロジスティック回帰と比較して、真正陽性率差（TPR Diff）が50％低減された。
• DiFデータセットでは、72.26％の精度と、公平性指標として0.68（TPR Diff）および0.27（FPR Diff）を達成し、フェアリウェイティングを含むベースラインを上回った。
• 出力の一貫性制約により、テスト例全体で予測一致率が87.67％まで向上し、モデルの信頼性と一貫性が強化されたことが示された。
• Grad-CAMの可視化結果から、対照的例を用いて訓練したモデルは、関連する顔の領域（例：笑顔の際の口元）に注目し、性別や年齢の手がかりに依存する割合が減少していることが確認された。
• DiFデータセットにおいて、肌色グループ間の公平性指標の乖離が低減され、多様な顔認識における公平性の促進に本手法が有効であることが裏付けられた。
• Adult Incomeデータセットにおいて、対照的例は反事後的例（counterfactuals）と密接に関連しており、因果的公平性の原則と概念的に整合していることが検証された。