[論文レビュー] Unprocessing Seven Years of Algorithmic Fairness

André F. Cruz, Moritz Hardt|arXiv (Cornell University)|Jun 12, 2023

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

本稿は、実世界の多次元データセットにおいて、後処理—異なるデモグラフィックグループ間の誤差率を均等化するために意思決定のしきい値を調整すること—が、より複雑な前処理およびインプロセッシング手法よりも優れた公平性・精度のパレートフロンティアを達成することを実証的に示している。標準化された比較のための「アンプロセッシング」の導入と、線形計画法による緩和された制約定式化により、ベースモデルと制約レベルが一致する限り、後処理を上回る手法は存在しないことが示された。

ABSTRACT

Seven years ago, researchers proposed a postprocessing method to equalize the error rates of a model across different demographic groups. The work launched hundreds of papers purporting to improve over the postprocessing baseline. We empirically evaluate these claims through thousands of model evaluations on several tabular datasets. We find that the fairness-accuracy Pareto frontier achieved by postprocessing contains all other methods we were feasibly able to evaluate. In doing so, we address two common methodological errors that have confounded previous observations. One relates to the comparison of methods with different unconstrained base models. The other concerns methods achieving different levels of constraint relaxation. At the heart of our study is a simple idea we call unprocessing that roughly corresponds to the inverse of postprocessing. Unprocessing allows for a direct comparison of methods using different underlying models and levels of relaxation.

研究の動機と目的

• 実世界の多次元データセットにおける公平性・精度のトレードオフにおいて、より複雑な公平性手法が後処理を上回るかどうかを評価すること。
• 従来の比較における方法論的欠陥、すなわち一貫しないベースモデルと変動する制約緩和レベルを是正すること。
• 公平性制約付きモデルから制約なしモデルを抽出するための「アンプロセッシング」を導入すること。
• 線形計画法を用いた緩和された等価オッズ制約の定式化を提供し、公平なベンチマーク評価を可能にすること。
• 後処理をパレート優越的なベースラインとして確立することで、アルゴリズムの公平性分野における評価基準を強化すること。

提案手法

• 後処理の逆操作としての「アンプロセッシング」を導入し、いかなる公平性制約付きモデルも、元の制約なしリスクスコアに変換可能であることを示し、後処理との直接比較を可能にする。
• 線形計画法を用いて、後処理における近似誤差率の均等化（r-緩和型等価オッズ）を達成し、同じ制約レベルでの公平な比較を可能にする。
• オープンソースのPythonパッケージ「error-parity」に緩和された制約ソリューションを実装し、公平性ベンチマーク評価の標準化を図る。
• ACSIncome や MEPS を含む6つのデータセットで、多様な前処理、インプロセッシング、および制約なしベースラインを用いて11,000以上のモデルを学習・評価する。
• 三重探索（tri-search）を用いて、後処理における誤差率の正確な等価性を達成し、比較のための公平なベースラインを確保する。
• アンプロセッシングにより得られた制約なしモデルを、後処理の基準点として用いることで、異なるベースモデル性能に起因するバイアスを排除する。

実験結果

リサーチクエスチョン

• RQ1 多様な多次元データセットにおいて、より複雑な公平性手法と比較しても、後処理がパレート最適のままであるか？
• RQ2 制約なしベースモデルの性能差が、公平性手法の比較を歪める程度はどの程度か？
• RQ3 制約の緩和が公平性・精度のトレードオフに与える影響は何か？ また、公平な評価のための標準化は可能か？
• RQ4 アンプロセッシングにより、後処理に対する公平で透明性の高い公平性介入のベンチマーク評価が可能になるか？
• RQ5 二乗損失下での理論的最適性が、実世界の多次元データ設定においても実証的に有効であるか？

主な発見

• 後処理は、評価されたすべてのデータセットとタスクにおいて、公平性・精度のトレードオフのパレートフロンティアに達している。これは、他のいかなる手法でも、精度を犠牲にせずに公平性を向上させることはできないことを意味する。
• 評価されたいかなる手法の公平性・精度トレードオフも、最高精度の制約なしモデルに対して後処理を施すことで再現または上回ることができる。
• アンプロセッシングは、いかなる公平性制約付き手法に対しても、対応する制約なしモデルを成功裏に抽出でき、再トレーニングを伴わずに直接比較が可能である。
• 線形計画法による緩和された等価オッズ制約の定式化により、一貫した制約違反レベルでの公平なベンチマーク評価が可能となり、重要な方法論的欠陥が是正された。
• たとえ緩和された制約（例：r=0.05）であっても、後処理はすべての評価対象手法を上回るか、同等の性能を示し、後処理の強健性と有効性が示された。
• 非二乗損失設定における後処理の最適性に対する反例は、実際の多次元データセットでは顕在せず、リスクスコアが二乗損失下のベイズ最適に近接していることがその理由と考えられる。