[論文レビュー] There is no trade-off: enforcing fairness can improve accuracy

Subha Maity, Debarghya Mukherjee+2 more|arXiv (Cornell University)|May 4, 2021

Explainable Artificial Intelligence (XAI)参考文献 7被引用数 4

ひとこと要約

この論文は、公平性とモデル性能の間に相反する関係があるという広く受け入れられている信念に挑戦し、訓練データのサンプリングバイアスに起因するバイアスが存在する場合、公平性を強制することで精度が向上することを示している。不偏のテストデータ上でベイズ意思決定ルールにモデルの予測を一致させることで、公平性制約はデータバイアスを是正し、一般化性能を向上させることができる。

ABSTRACT

One of the main barriers to the broader adoption of algorithmic fairness in machine learning is the trade-off between fairness and performance of ML models: many practitioners are unwilling to sacrifice the performance of their ML model for fairness. In this paper, we show that this trade-off may not be necessary. If the algorithmic biases in an ML model are due to sampling biases in the training data, then enforcing algorithmic fairness may improve the performance of the ML model on unbiased test data. We study conditions under which enforcing algorithmic fairness helps practitioners learn the Bayes decision rule for (unbiased) test data from biased training data. We also demonstrate the practical implications of our theoretical results in real-world ML tasks.

研究の動機と目的

• 訓練データにバイアスが存在する場合、アルゴリズムの公平性を強制することで、不偏のテストデータにおけるモデル性能が向上するかどうかを調査すること。
• 偏った訓練データからのベイズ意思決定ルールを回復するための公平性制約が有効となる条件を分析すること。
• 現実世界の機械学習タスクにおける公平性強制の実用的利点を示すこと。
• 公平性が性能の低下を伴うという一般的な仮定に反論すること。

提案手法

• 著者たちは、訓練データにサンプリングバイアスが現れる状況下で、公平性制約がモデル学習に与える影響を分析している。
• 不偏のテストデータ上でベイズ最適意思決定ルールにより良い一致を達成するための公平性制約の有効な条件を導出している。
• この手法は、偏ったサンプリングによって引き起こされるデータ分布のシフトを是正する仕組みとしての公平性制約の理論的分析を含む。
• 統計的学習理論を用いて、公平性強制が不偏データにおける一般化誤差を低減できることを示している。
• フレームワークは、現実世界の機械学習タスクにおける実証的評価を通じて検証されている。
• コアなアイデアは、公平性制約がデータバイアスを是正する正則化の一種として機能し、一般化性能を向上させることである。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、公平性を強制することで不偏のテストデータにおけるモデルの精度が向上するのか？
• RQ2 訓練データがサンプリングによって偏っている場合、公平性制約がベイズ意思決定ルールを回復するのを助けることができるか？
• RQ3 データのサンプリングバイアスが存在する状況下で、公平性の強制は一般化誤差を低減するのか？
• RQ4 不偏データにおける性能の観点から、公平性強制は標準的な学習法と比べてどのように異なるのか？
• RQ5 現実世界の機械学習応用において、データバイアスを是正するための公平性制約を用いることの実用的意義は何か？

主な発見

• 訓練データにサンプリングバイアスが存在する場合、公平性を強制することでモデルの精度が向上することが示され、公平性と性能のトレードオフという仮定に反する。
• 公平性制約は、データ分布のシフトを是正することで、不偏のテストデータ上でベイズ意思決定ルールにモデルが収束するのを助ける。
• 精度の向上は、公平性が偏ったサンプリングの影響を緩和する正則化の一種として機能するため生じる。
• 現実世界のタスクにおける実証的結果から、公平性強制が不偏のテストセットにおける性能を向上させることを確認している。
• 精度向上が実現される理論的条件が導出され、現実世界のシナリオにおいても実用的に関連性があることが示された。
• 本研究は、公平性がコストではなく、データが偏っている場合にモデルの一般化性能を向上させる是正メカニズムであることを示している。