[論文レビュー] On the relation between accuracy and fairness in binary classification

Indrė Žliobaitė|arXiv (Cornell University)|May 21, 2015

Machine Learning and Data Classification参考文献 3被引用数 92

ひとこと要約

この論文は、二値分類における公平性と精度のトレードオフを評価する際の重大な欠陥を特定している：異なる陽性予測率（承認率）を持つ分類器を比較すると、誤った結論が導かれる。本稿では、各承認率におけるベースライン性能を用いて精度と差別的指標を正規化する手法を提案し、標準的な比較では、名目上の公平性が向上している間でさえ、差別のが拡大していることが隠蔽される可能性があることを示している。

ABSTRACT

Our study revisits the problem of accuracy-fairness tradeoff in binary classification. We argue that comparison of non-discriminatory classifiers needs to account for different rates of positive predictions, otherwise conclusions about performance may be misleading, because accuracy and discrimination of naive baselines on the same dataset vary with different rates of positive predictions. We provide methodological recommendations for sound comparison of non-discriminatory classifiers, and present a brief theoretical and empirical analysis of tradeoffs between accuracy and non-discrimination.

研究の動機と目的

• 異なる陽性予測率を持つ非差別的分類器間の性能比較が、誤った結論を導くリスクを明らかにすること。
• 異なる承認率を持つ分類器間で、標準的な精度と差別的指標が比較可能でないことを主張すること。
• 各承認率におけるベースライン性能を考慮した正規化指標（精度のκ、差別のδ）を提案すること。
• 偏ったデータで学習した分類器が、名目上の公平性が向上している間でさえ、根本的な差別を拡大する可能性があることを示すこと。
• 率調整された性能指標を用いて、公平性に配慮した機械学習モデルの評価において、メソドロジカルな厳密性を促すこと。

提案手法

• 分類器の精度を、同じ承認率πにおけるランダムベースラインとの比較によって正規化する手法を提案。
• 正規化された差別的指標δ = d / d_max(π)を導入し、d_max(π)は承認率πにおける最大可能な差別的指標を表す。
• すべての有利群メンバーが保護群メンバーの前に承認される場合の、差別の理論的上限を用いる。
• UCI Adultデータセットを用いて、ロジスティック回帰、ナイーブベイズ、決定木を用い、さまざまなしきい値での性能を評価。
• 訓練ラベルを調整して差別をゼロに強制し、元の承認率を維持する「マッサージング」技術を適用。
• 複数の承認率において、保護属性を含む・含まない、およびデータ前処理あり・なしの分類器を実証的に比較。

実験結果

リサーチクエスチョン

• RQ1 承認率を変化させることで、非差別的分類器における精度と公平性指標の比較可能性にどのような影響を与えるか？
• RQ2 分類器の陽性予測率が異なる場合、標準的な精度と差別的指標の比較がなぜ誤解を招く可能性があるのか？
• RQ3 ある特定の承認率における理論的最高差別的指標は何か？ そして、その値はどのように公平性指標の正規化に利用できるか？
• RQ4 承認率が異なる場合、データの再重み付けや属性の削除といった標準的な公平性技術が、実際に根本的な差別をどれほど低減できるのか？
• RQ5 正規化指標（κとδ）は、生の指標と比較して、公平性と精度の比較の有効性をどのように向上させるか？

主な発見

• 元のデータよりも低い承認率を持つ分類器は、名目上の差別的指標（d）は改善しているが、正規化された差別的指標（δ）は著しく悪化しており、現実の公平性がより悪いことを示している。
• 訓練に保護属性を用いることで、名目上の差別的指標（d）が低下している間でさえ、正規化された差別的指標（δ）は元のデータを上回るようになる。
• 保護属性を削除しても、特徴量の相関による間接的差別（レッドリンティング効果）が残り、結果として元のデータよりもδが高くなる。
• 「マッサージング」技術により、承認率が元のデータに近づき、名目上の差別的指標（d）は低下するが、過剰に調整されたり逆差別を引き起こす可能性がある。
• 正規化指標（κとδ）により、一部の分類器が生の指標ではより良いように見えるが、実際には元のデータよりも公平性が劣っていることが明らかになった。
• 分類器間の承認率（π）が異なる場合、生の精度（A）と差別的指標（d）を用いた性能比較は無効であり、正規化指標の使用が正当な評価に不可欠である。