[論文レビュー] Proxy Fairness

Maya R. Gupta, Andrew Cotter+2 more|arXiv (Cornell University)|Jun 28, 2018

Ethics and Social Impacts of AI被引用数 9

ひとこと要約

この論文は、保護群ラベルが利用できない状況での機械学習モデルの公平性を向上させるためのプロキシ公平性を提案する。真の感受性グループと相関するプロキシグループ上で公平性指標を最適化することで、実際の保護群における公平性が向上するが、その有効性は指標の選定とプロキシ群と真のグループの整合性に依存する。

ABSTRACT

We consider the problem of improving fairness when one lacks access to a dataset labeled with protected groups, making it difficult to take advantage of strategies that can improve fairness but require protected group labels, either at training or runtime. To address this, we investigate improving fairness metrics for proxy groups, and test whether doing so results in improved fairness for the true sensitive groups. Results on benchmark and real-world datasets demonstrate that such a proxy fairness strategy can work well in practice. However, we caution that the effectiveness likely depends on the choice of fairness metric, as well as how aligned the proxy groups are with the true protected groups in terms of the constrained model parameters.

研究の動機と目的

• 訓練時または推論時に保護群ラベルが入手できない状況における機械学習における公平性の向上という課題に対処すること。
• 真の感受性グループに対する公平性の向上が、相関するプロキシグループ上で公平性指標を最適化することで達成できるかどうかを調査すること。
• 特に指標選定とプロキシグループの真のグループとの整合性に関して、プロキシ公平性が有効となる条件を調査すること。
• 感受性属性データが入手不能または制限されている現実世界のシナリオにおいて、公平性向上のための実用的戦略を提示すること。

提案手法

• 真の保護群と相関するが、データに存在する代替表現としてのプロキシグループを定義する。
• モデルの訓練またはキャリブレーション中に、等しい機会、等価なオッズなどの公平性指標をこれらのプロキシグループ上で最適化する。
• プロキシグループの公平性によって制約されたモデルパラメータを用いることで、真の感受性グループにおける公平性を間接的に向上させる。
• 異なる公平性指標が、プロキシ公平性の真のグループへの転送性に与える影響を評価する。
• パラメータ空間解析と相関係数を用いて、プロキシグループと真の保護群との整合性を評価する。
• データ不足の下で、ベンチマークおよび実世界のデータセットにこの手法を適用し、実証的に有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 プロキシグループ上で公平性を最適化することで、真の保護群における公平性に測定可能な改善がもたらされるか？
• RQ2 公平性指標の選定が、プロキシ公平性の有効性にどのように影響するか？
• RQ3 プロキシグループと真の保護群との整合性が、公平性の転送にどの程度影響を及けるか？
• RQ4 保護属性ラベルが存在しない状況でも、プロキシ公平性はモデルの有用性を維持しながら公平性を向上させることができるか？

主な発見

• プロキシグループが真の保護群と十分に整合している場合、プロキシ公平性は真の感受性グループにおける公平性を効果的に向上させる。
• プロキシ公平性の有効性は、最適化時に使用する公平性指標の選定に強く依存する。
• プロキシグループ上で公平性を最適化したモデルは、ベンチマークおよび実世界のデータセットの両方で、真の保護群における公平性指標に測定可能な改善を示す。
• プロキシグループと真のグループとの整合性が悪いと、公平性の向上がほとんどまたは全く得られず、プロキシの質の重要性が浮き彫りになる。
• この手法はモデルのパフォーマンスと有用性を維持しており、精度や予測力に顕著なトレードオフを生じさせない。
• パラメータ空間解析から、プロキシ公平性によって制約されたモデルパラメータが、特に適切に選ばれた指標の場合、真のグループの公平性に意味的に転送されていることが明らかになった。