[論文レビュー] Putting Fairness Principles into Practice: Challenges, Metrics, and Improvements

Alex Beutel, Jilin Chen+7 more|arXiv (Cornell University)|Jan 14, 2019

Ethics and Social Impacts of AI参考文献 34被引用数 26

ひとこと要約

本論文は、グループ間の分布的差異を考慮する条件付き等価性という公平性指標と、生産環境における機械学習システムにおける機会の平等を向上させる安定な訓練手法である絶対相関正則化を提案する。2つの感受性グループにおける誤検出率の差を顕著に低減し、絶対相関正則化は敵対的訓練よりも安定性と実用性に優れていることを示している。

ABSTRACT

As more researchers have become aware of and passionate about algorithmic fairness, there has been an explosion in papers laying out new metrics, suggesting algorithms to address issues, and calling attention to issues in existing applications of machine learning. This research has greatly expanded our understanding of the concerns and challenges in deploying machine learning, but there has been much less work in seeing how the rubber meets the road. In this paper we provide a case-study on the application of fairness in machine learning research to a production classification system, and offer new insights in how to measure and address algorithmic fairness issues. We discuss open questions in implementing equality of opportunity and describe our fairness metric, conditional equality, that takes into account distributional differences. Further, we provide a new approach to improve on the fairness metric during model training and demonstrate its efficacy in improving performance for a real-world product

研究の動機と目的

• 感受性グループ間でデータ分布が異なる生産環境における機械学習システムの公平性の測定という課題に対処すること。
• グループ間での例の難易度の差を明示的に考慮する実用的な公平性指標の開発。
• モデル訓練中に機会の平等を向上させる安定でトレーニング可能な正則化手法の提案。
• 実世界の分類システムにおける公平性向上の有効性を評価し、実証すること。

提案手法

• グループ間の分布的差異を明示的にモデル化する条件付き等価性という公平性指標を提案し、機会の平等を評価する。
• モデルの予測と感受性属性の絶対相関を最小化する訓練手法として、絶対相関正則化を導入。
• 感受性属性を予測する別々のヘッドを用いた敵対的訓練を適用し、不変表現を促進。
• 誤検出率の低減に直接的に対処するため、敵対的訓練には負例（y < τ）のみを用いる。
• 正則化を1つのグループに適用し、その影響を他のグループの公平性向上を測定することで、グループ間の公平性向上の伝達を評価する。
• 正則化手法を大規模なモデルアーキテクチャと組み合わせ、精度を損なわずに公平性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータにおける感受性グループ間の分布的差異を考慮する公平性指標は、どのように設計できるか？
• RQ2 データサンプリングやグループ分布の変動がある状況で、機会の平等を測定する上で実用的な課題は何か？
• RQ3 生産環境において、敵対的訓練よりも安定性に優れる正則化手法は、公平性指標の向上にどのように寄与できるか？
• RQ4 1つのグループに対する公平性の向上が、他のグループに対してもどの程度伝達されるか？
• RQ5 複数の感受性グループに対して同時に公平性を向上させつつ、全体のモデル性能を劣化させない方法は何か？

主な発見

• 条件付き等価性は、グループ間での例の難易度の差を考慮することで、公平性の評価をより明確かつ強固にする。
• 絶対相関正則化は誤検出率の差を顕著に低減し、1.44×から1.05×に改善したが、同時に訓練の安定性を維持した。
• 敵対的訓練は誤検出率の差を1.44×から1.04×に低減したが、実際の運用では絶対相関正則化に比べて安定性に劣る。
• グループ1に絶対相関正則化を適用すると、グループ2の誤検出率の差が1.37×から1.31×にわずかに改善し、公平性の恩恵が部分的に伝達された。
• 両グループに同時に正則化を適用することで、グループ2の誤検出率の差は1.11×にまで低減され、マルチグループにおける公平性向上が実証された。
• 大規模なモデルアーキテクチャのみを用いることで公平性が向上する傾向があることから、表現能力がバイアス低減に寄与することが示唆された。