[論文レビュー] Statistical Equity: A Fairness Classification Objective

Ninareh Mehrabi, Yuzhong Huang+1 more|arXiv (Cornell University)|May 14, 2020

Ethics and Social Impacts of AI参考文献 18被引用数 5

ひとこと要約

本稿では、訓練データ内の歴史的バイアスを考慮し、過去の不利な状況を補償するように予測を調整する新しい公平性定義「統計的公平性（statistical equity）」を提案する。交差エントロピーと公平性の目的関数を組み合わせた修正された損失関数を用いる。この手法はフィードバックループを軽減し、自動的および人間による評価において、従来の統計的同等性（statistical parity）を上回る性能を示す。

ABSTRACT

Machine learning systems have been shown to propagate the societal errors of the past. In light of this, a wealth of research focuses on designing solutions that are "fair." Even with this abundance of work, there is no singular definition of fairness, mainly because fairness is subjective and context dependent. We propose a new fairness definition, motivated by the principle of equity, that considers existing biases in the data and attempts to make equitable decisions that account for these previous historical biases. We formalize our definition of fairness, and motivate it with its appropriate contexts. Next, we operationalize it for equitable classification. We perform multiple automatic and human evaluations to show the effectiveness of our definition and demonstrate its utility for aspects of fairness, such as the feedback loop.

研究の動機と目的

• 機械学習における歴史的バイアスを包括的に反映する公平性定義の欠如に取り組むこと。
• グループレベルの公平性を維持しながら、過去の不利な状況を補償する公平性の目的関数としての公平性（equity）を形式化すること。
• 標準的な分類目的関数と統合されたトレーニング可能な損失関数を開発すること。
• 提案手法のフィードバックループ低減および実世界の状況における公平性向上の有効性を評価すること。
• 自動的および人間による評価を用いて、統計的同等性（statistical parity）などの従来の公平性定義と比較して、統計的公平性（statistical equity）を評価すること。

提案手法

• 本稿では、訓練データに観察されたグループレベルの歴史的バイアスに基づいて予測を調整する公平性定義としての公平性（equity）を形式化する。
• 交差エントロピー損失と、歴史的ベースレートに対する予測結果の不平等さをペナルティ化する公平性項を組み合わせたハイブリッド損失関数を導入する。
• 公平性項により、歴史的に不利な立場にあったグループが、過去の不平等を補償するようにより好都合な予測を受けることが保証される。
• 本手法はインプロセッシングを用いて実装され、精度と公平性の両方を同時に最適化するように訓練の目的関数を変更する。
• 標準的な交差検証を用いて評価され、合成データおよび実世界のデータを用いたフィードバックループ低減のテストが実施された。
• 人間による評価が実施され、多様な状況下で統計的公平性と統計的同等性の間の公平性の認識を比較した。

実験結果

リサーチクエスチョン

• RQ1 機械学習における公平性定義は、すべてのグループを平等に扱うのではなく、歴史的バイアスを考慮してどのように形式化できるか？
• RQ2 提案された公平性に基づく損失関数は、意思決定システムにおけるフィードバックループをどの程度低減するか？
• RQ3 人間のアノテーターによる評価において、統計的公平性は統計的同等性と比べてどの程度公平性が高く評価されるか？
• RQ4 精度、公平性、グループレベルの公平性をバランスさせるデータ駆動型の公平性目的関数を設計できるか？
• RQ5 分類目的関数に公平性を統合することで、モデルの性能と公平性指標にどのような影響が生じるか？

主な発見

• 提案された統計的公平性フレームワークは、モデルの予測における歴史的バイアスを是正することで、フィードバックループを効果的に低減する。
• 特に歴史的に不利な立場にあったグループを含む状況において、標準的な統計的同等性（statistical parity）よりも公平性評価で優れた性能を示す。
• 人間による評価では、歴史的不平等が関与する文脈において、統計的公平性に基づく意思決定が統計的同等性に基づくものよりもより公平であると参加者が認識した。
• ハイブリッド損失関数は、モデルの精度と公平性の両方をうまくバランスさせ、高いパフォーマンスを維持しながら公平性の結果を改善した。
• 損失関数に歴史的ベースレートを組み込むことで、全体のモデルパフォーマンスを犠牲にすることなく、より公平な予測が得られることを示した。
• 本研究では、歴史的格差が存在する文脈において、公平性に基づく公平性定義が平等性に基づくものよりも効果的であることが確認された。