[論文レビュー] Does enforcing fairness mitigate biases caused by subpopulation shift?

Subha Maity, Debarghya Mukherjee+2 more|arXiv (Cornell University)|Nov 6, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 6

ひとこと要約

本稿は、訓練中にリスクパリティを用いたアルゴリズム的公平性の強制が、サブポピュレーションシフトによって引き起こされるパフォーマンス格差を軽減するかどうかを調査する。公平性の強制は、シフト構造に応じてターゲットドメインにおけるモデルパフォーマンスを向上させることも、損なうこともあると示し、公平性が一般化を改善するための明確な条件を導出し、単なるパリティを超えた公平性実践の統計的基準を提示する。

ABSTRACT

Many instances of algorithmic bias are caused by subpopulation shifts. For example, ML models often perform worse on demographic groups that are underrepresented in the training data. In this paper, we study whether enforcing algorithmic fairness during training improves the performance of the trained model in the \emph{target domain}. On one hand, we conceive scenarios in which enforcing fairness does not improve performance in the target domain. In fact, it may even harm performance. On the other hand, we derive necessary and sufficient conditions under which enforcing algorithmic fairness leads to the Bayes model in the target domain. We also illustrate the practical implications of our theoretical results in simulations and on real data.

研究の動機と目的

• 訓練中にアルゴリズム的公平性を強制することで、ターゲットドメインにおけるサブポピュレーションシフトによって引き起こされるパフォーマンス格差が軽減されるかどうかを調査すること。
• 分布シフトが存在する状況で、公平性の強制がモデルパフォーマンスを向上させるか、悪化させるかを特定すること。
• ターゲットドメインパフォーマンスへの影響に基づいて、公平性実践を評価する統計的フレームワークを提供すること。
• リスクパリティがターゲット分布における一般化を改善するための必要十分条件を導出すること。
• シミュレーションおよびCOMPASやAdultのような実世界のデータセットを用いて理論的発見を検証すること。

提案手法

• 著者らは、サブポピュレーションごとのモデルパフォーマンスの要約としてリスクプロファイルを導入し、公平性制約下でのリスク最小化の分析を可能にした。
• サブポピュレーションシフトを、公平性制約に対して直交する回復可能な成分と回復不能な成分に分解した。
• 理論的分析により、リスクパリティを強制することでターゲットドメインでベイズ最適モデルに到達するための必要十分条件を導出した。
• このフレームワークは、離散的および連続的の両方の感受性属性に適用可能であり、補遺資料に拡張が記載されている。
• 制御された分布シフト下で理論的発見の妥当性を検証するために、シミュレーションおよび実データセット（COMPAS、Adult）を用いた実験を行った。
• 条件付きリスクパリティとパフォーマンスパリティを公平性制約として用い、保護群間の正確性および誤差率の格差を評価した。

実験結果

リサーチクエスチョン

• RQ1 サブポピュレーションシフト下で、訓練中にリスクパリティを強制することで、ターゲットドメインにおけるモデルパフォーマンスがどのように向上するかの条件は何か？
• RQ2 訓練中に公平性を強制することで、実際にターゲットドメインにおけるパフォーマンスが悪化することはあるのか？ もしあるなら、その理由は何か？
• RQ3 データシフトのどの構造的性質が、公平性強制が一般化を改善するかどうかを決定するか？
• RQ4 公平性実践は、単なるパリティではなく、ターゲット分布における実際のパフォーマンス向上の観点からどのように評価できるか？
• RQ5 公平性向上のための理論的条件は、複雑な分布シフトを示す実世界のデータにおいて、どの程度有効に機能するか？

主な発見

• 訓練中にリスクパリティを強制しても、ターゲットドメインにおけるパフォーマンスが向上するとは限らず、シフト構造が不利な場合には全体的なパフォーマンスを損なう可能性がある。
• ターゲットドメインでベイズ最適モデルに到達するための理論的条件を導出し、有効な公平性のための明確な基準を提供した。
• COMPASデータセットでは、公平な分類器がバイアスのないターゲット分布 $P^{*}$ で 0.652 の正確性を達成し、ベースラインの 0.634 を上回った。理論の実践的妥当性を裏付けた。
• 同じデータセットでは、バイアスのある訓練分布 $\widetilde{P}$ ではベースラインがより良いパフォーマンスを示した（0.668 対 0.660）。バイアスありとバイアスなしのパフォーマンスのトレードオフを確認した。
• 本研究は、シフトが公平性制約に対して直交する回復可能な場合に限り、公平性強制がターゲットドメインでのパフォーマンスを向上させることを示した。これは定理 4.3 で形式化されている。
• 結果から、公平性実践は訓練データのパリティだけでなく、ターゲットドメインパフォーマンスへの影響に基づいて評価すべきであり、公平性選択の統計的根拠を提供した。