[論文レビュー] The Fairness-Accuracy Pareto Front

Susan Wei, Marc Niethammer|arXiv (Cornell University)|Aug 25, 2020

Reinforcement Learning in Robotics参考文献 47被引用数 6

ひとこと要約

本論文では、深層ニューラルネットワークにおける公平性-精度のパレートフロントを特定するために、標準の線形スカラライゼーションに起因する限界を克服するため、チェビシェフスカラライゼーション手法の使用を提案している。チェビシェフスカラライゼーションは、非凸なパレートフロントにおいても、より広範なパレート最適解を回復でき、計算的にも効率的であり、複数のデータセットにおいて、線形スカラライゼーションおよび敵対的アプローチを凌駕してパレートフロント推定性能を発揮している。

ABSTRACT

Algorithmic fairness seeks to identify and correct sources of bias in machine learning algorithms. Confoundingly, ensuring fairness often comes at the cost of accuracy. We provide formal tools in this work for reconciling this fundamental tension in algorithm fairness. Specifically, we put to use the concept of Pareto optimality from multi-objective optimization and seek the fairness-accuracy Pareto front of a neural network classifier. We demonstrate that many existing algorithmic fairness methods are performing the so-called linear scalarization scheme which has severe limitations in recovering Pareto optimal solutions. We instead apply the Chebyshev scalarization scheme which is provably superior theoretically and no more computationally burdensome at recovering Pareto optimal solutions compared to the linear scheme.

研究の動機と目的

• 機械学習における公平性と精度の根本的対立を解決すること。現存の手法はしばしば最適なトレードオフを回復できない。
• 多くの公平性手法で用いられる線形スカラライゼーションが、公平性-精度パレートフロントの非凸領域を回復できないことを示すこと。
• 理論的に優れたかつ計算的に実行可能な代替手法として、チェビシェフスカラライゼーションスキームを提案・評価すること。
• 敵対的訓練やATOベースのアプローチを含む、さまざまな公平性-精度パレートフロント推定手法の実証的比較を行うこと。
• スカラライゼーションを深層学習で使用する際の重み選択および最適化安定性に関する実用的課題を特定すること。

提案手法

• 著者らは、理想の公平性と精度からの最大偏差の重み付き最小化を用いて、深層ニューラルネットワークにおいて公平性と精度を同時に最適化するため、チェビシェフスカラライゼーションスキームを適用している。
• 彼らはアルゴリズム1を用いて、スカラライゼーション重みの範囲にわたる候補モデルを生成し、中間層でのATO因果推定値を公平性指標として用いている。
• 公平性の目的関数は、テストセット上で計算された予測に対する平均処置効果（ATE）の絶対値として定義されている。
• 精度の目的関数は、テストセット上の標準的な交差エントロピーまたは分類誤差である。
• スカラライズド目的関数を用いて、公平性-精度空間における支配されない解（非支配解）を特定することでパレートフロントを構築している。
• 本手法は3つのバリエーションを比較している：最終層の1つ手前の層でのATO、すべての層にわたるATO、および敵対的公平性訓練のベースライン。

実験結果

リサーチクエスチョン

• RQ1 チェビシェフスカラライゼーションスキームは、アルゴリズム公平性分野で広く用いられている線形スカラライゼーションよりも、より包括的な公平性-精度パレートフロントを回復できるか？
• RQ2 公平性測定の層の選択（例：最終層の1つ手前 vs. 全ての層）が、深層ニューラルネットワークにおけるパレートフロント推定に与える影響は何か？
• RQ3 敵対的訓練による公平性は、スカラライゼーションベースの手法と比較して、より多様または包括的なパレートフロントを生成するか？
• RQ4 異なる公平性定義（人口統計的同等性、同等オッズ、同等機会、ATO）は、公平性-精度トレードオフ空間にどのように分布するか？
• RQ5 パレートフロントの形状が未知である場合、スカラライゼーションの重み選択における実用的課題は何か？

主な発見

• チェビシェフスカラライゼーションスキームは、特に非凸な公平性-精度トレードオフ空間において、線形スカラライゼーションよりも顕著に広範なパレート最適解を回復している。
• UCI（性別）データセットでは、ATO 1層法が44の非支配点を特定したのに対し、ATO 全層法は27、敵対的訓練は13にとどまった。
• UCI（人種）データセットでは、ATO 1層法が33の非支配点を特定したのに対し、ATO 全層法は27、敵対的訓練は9であった。
• リシジビズムデータセットでは、ATO 1層法が89の非支配点を特定した。これは、ATO 全層法（53）および敵対的訓練（27）を著しく上回っている。
• 最終層の1つ手前の層で計算されたATO因果推定値は、全中間層を含む推定値よりも優れたパレートフロント推定を示しており、全層推定値を用いる際の潜在的な訓練不安定性を示唆している。
• 3つの標準的公平性指標（人口統計的同等性、同等オッズ、同等機会）は公平性-精度空間に明確なクラスタを形成したが、ATOベースの指標はより連続的かつ多様なパレートフロントカバレッジを可能にした。