[論文レビュー] Directional Bias Amplification

Angelina Wang, Olga Russakovsky|arXiv (Cornell University)|Feb 24, 2021

Adversarial Robustness in Machine Learning参考文献 61被引用数 20

ひとこと要約

本稿では、方向性バイアス拡大（BiasAmp→）を導入し、従来の指標が混同していたA→TおよびT→Aの経路を分離することで、バイアス拡大を別個の方向的流れに分解する新しい指標を提示する。この方法により、ベースレートを考慮し、標的介入が可能になることで、公平性評価が向上し、実証的結果では、モデルが低いバイアス拡大を示しても、特にリスク予測設定において高い公平性格差を示す可能性があることが明らかになった。

ABSTRACT

Mitigating bias in machine learning systems requires refining our understanding of bias propagation pathways: from societal structures to large-scale data to trained models to impact on society. In this work, we focus on one aspect of the problem, namely bias amplification: the tendency of models to amplify the biases present in the data they are trained on. A metric for measuring bias amplification was introduced in the seminal work by Zhao et al. (2017); however, as we demonstrate, this metric suffers from a number of shortcomings including conflating different types of bias amplification and failing to account for varying base rates of protected attributes. We introduce and analyze a new, decoupled metric for measuring bias amplification, $ ext{BiasAmp}_{ ightarrow}$ (Directional Bias Amplification). We thoroughly analyze and discuss both the technical assumptions and normative implications of this metric. We provide suggestions about its measurement by cautioning against predicting sensitive attributes, encouraging the use of confidence intervals due to fluctuations in the fairness of models across runs, and discussing the limitations of what this metric captures. Throughout this paper, we work to provide an interrogative look at the technical measurement of bias amplification, guided by our normative ideas of what we want it to encompass. Code is located at https://github.com/princetonvisualai/directional-bias-amp

研究の動機と目的

• 既存のバイアス拡大指標の短所を是正すること。これらは異なるタイプのバイアスを混同しており、保護属性のベースレートを考慮していない。
• A→T および T→A バイアス拡大経路を区別できる、より正確で規範的根拠を有する指標の開発。
• どのタイプのバイアス拡大が実行可能で文脈的に関連しているかを明確にすることで、より公平なモデル評価を支援。
• 訓練データの相関関係が制度的不平等を反映している可能性がある状況では、バイアス拡大を唯一の公平性指標として過信しないよう警告すること。
• モデルのランダムシードによる変動を考慮し、信頼区間の使用と公平性指標の慎重な解釈を促すこと。

提案手法

• 保護属性AからタスクTへのバイアス拡大（A→T）と、タスクTから属性Aへのバイアス拡大（T→A）を区別する方向性のバイアス拡大を測定する新しい指標、BiasAmp→を提案。
• 精度とは独立して設計され、保護属性のベースレートを組み込むことで、現実の公平性懸念を反映する。
• 予測誤差の分解を用いて、訓練データにおける既存の相関を強化または歪曲する誤分類を隔離する。特に、既存の関連性を強化する誤分類に焦点を当てる。
• ランダムシードのわずかな変更が公平性指標の大きな変動を引き起こす「Rashomon効果」を考慮し、信頼区間を用いて、モデル実行間での公平性指標の不安定性を強調。
• 可能な限り感受性属性の予測を避けるべきであると提言。これによりT→A拡大が自明に消失し、規範的曖昧性が低減する。
• コンピュータビジョン（例：性別および絵画分類）および犯罪リスク予測（例：COMPAS）を含む多様な設定で指標を評価し、文脈依存的な妥当性を示した。

実験結果

リサーチクエスチョン

• RQ1 バイアス拡大を意味的に分解することで、A→T と T→A の別個の方向的経路に分離可能か。これにより診断の正確性が向上するか。
• RQ2 既存のバイアス拡大指標が保護属性のベースレートを十分に考慮していない場合、公平性評価にどのような影響を与えるか。
• RQ3 将来の結果が未知でラベルがバイアスされているリスク予測設定では、低いバイアス拡大であっても、高い公平性格差が共存しうるか。
• RQ4 ランダムシードによるモデルの変動が、公平性指標の信頼性に与える影響は何か。信頼区間はこの問題を緩和する役割を果たすか。
• RQ5 バイアス拡大はどの状況で適切な公平性指標となり、他の公平性基準に優先されるべき状況は何か。

主な発見

• 提案された BiasAmp→ 指標は、A→T および T→A バイアス拡大を効果的に分離し、より的確かつ規範的根拠に基づいた干渉が可能になる。
• COMPASリスク予測設定において、すべてのしきい値でバイアス拡大はほぼゼロであったが、依然として顕著な偽陽性率の格差が継続していた。これは、低い拡大量が公平性を意味しないことを示している。
• 完全な精度を示すモデルではバイアス拡大がゼロとなる。これは、バイアス拡大が精度と矛盾せず、一致していることを示している。
• 指標は、感受性属性の予測を避けることでT→A拡大を完全に排除できることを明らかにした。これはモデル設計における強い規範的含意を持つ。
• BiasAmp→ の解釈には信頼区間が不可欠であり、モデル実行間での高い変動性を反映しており、公平性指標におけるRashomon効果の重要性を強調している。
• 歴史的にバイアスのあるラベルや観測不能な将来の結果（例：犯罪再犯予測）を含む設定では、バイアス拡大は十分な公平性指標とは言えない。