[論文レビュー] Inherent Tradeoffs in Learning Fair Representations

Han Zhao, Geoffrey J. Gordon|arXiv (Cornell University)|Jun 19, 2019

Ethics and Social Impacts of AI参考文献 50被引用数 28

ひとこと要約

この論文は、統計的平等性の下で公平な分類器の連合誤差に関する情報理論的下界を確立し、グループ間のベースレートが異なる場合、いかなる公平な分類器も少なくとも1つのグループで最小誤差を被る必要があることを証明している。ベースレートが異なる場合、最小誤差を効率的に計算するための線形計画法を用いたTV-バーチャンター問題を導入し、オракル・ベイズ分類器を用いた最適な確率的分類器を提案することで、公平性制約が定量的に精度を制限することを示している。

ABSTRACT

Real-world applications of machine learning tools in high-stakes domains are often regulated to be fair, in the sense that the predicted target should satisfy some quantitative notion of parity with respect to a protected attribute. However, the exact tradeoff between fairness and accuracy is not entirely clear, even for the basic paradigm of classification problems. In this paper, we characterize an inherent tradeoff between statistical parity and accuracy in the classification setting by providing a lower bound on the sum of group-wise errors of any fair classifiers. Our impossibility theorem could be interpreted as a certain uncertainty principle in fairness: if the base rates differ among groups, then any fair classifier satisfying statistical parity has to incur a large error on at least one of the groups. We further extend this result to give a lower bound on the joint error of any (approximately) fair classifiers, from the perspective of learning fair representations. To show that our lower bound is tight, assuming oracle access to Bayes (potentially unfair) classifiers, we also construct an algorithm that returns a randomized classifier that is both optimal (in terms of accuracy) and fair. Interestingly, when the protected attribute can take more than two values, an extension of this lower bound does not admit an analytic solution. Nevertheless, in this case, we show that the lower bound can be efficiently computed by solving a linear program, which we term as the TV-Barycenter problem, a barycenter problem under the TV-distance. On the upside, we prove that if the group-wise Bayes optimal classifiers are close, then learning fair representations leads to an alternative notion of fairness, known as the accuracy parity, which states that the error rates are close between groups. Finally, we also conduct experiments on real-world datasets to confirm our theoretical findings.

研究の動機と目的

• 実世界のデータ分布における分類の公平性（統計的平等性）と精度の根本的トレードオフを理解すること。
• ベースレートが異なる場合に、公平性制約を課した際のグループ間の最小可能な連合誤差を特定すること。
• ベイズ分類器へのオラクルアクセスを仮定した場合に、公平性制約を満たしつつ最適な精度を達成するアルゴリズムを開発すること。
• ある条件下で、公平な表現を学習することが、統計的平等性の代わりに精度の平等性（グループ間の誤差率が類似）をもたらすかどうかを検討すること。
• 保護属性に2つ以上の値がある場合に、公平性-精度トレードオフの下界を計算的に効率的に得る方法を提供すること。

提案手法

• Kullback-Leibler発散とグループごとのベースレートを用いて、統計的平等性の下で公平な分類器のグループ別誤差の和に対する情報理論的下界を導出する。
• グループ固有のオラクル・ベイズ分類器へのアクセスを仮定した場合に、最適な精度と公平性を両立する確率的分類器の構築法を提示する。
• 2つ以上のグループがある場合、全変動距離に基づいて線形計画問題（TV-バーチャンター問題と呼ぶ）として下界の計算を定式化する。
• 提示された確率的分類器が与えられた仮定の下で下界を達成することを示し、下界がタイトであることを証明する。
• グループ間のベイズ最適分類器が類似している場合に、公平な表現の学習が精度の平等性（誤差率がグループ間で類似）をもたらす条件を分析する。
• 実世界のデータセットを用いた実験により理論的発見を検証し、トレードオフと下界のタイトネスを確認する。

実験結果

リサーチクエスチョン

• RQ1 ベースレートがグループ間で異なる場合、統計的平等性を満たす任意の分類器が被る最小の連合誤差は何か？
• RQ2 統計的平等性のもとで、精度と公平性の両方を最適化する分類器を構築可能か？ もし可能であれば、どのような仮定が必要か？
• RQ3 保護属性に2つ以上の値がある場合、公平性-精度トレードオフの下界をどのように効率的に計算できるか？
• RQ4 どのような条件下で、公平な表現の学習が統計的平等性ではなく精度の平等性をもたらすか？
• RQ5 近似的な公平性制約が達成可能な精度に与える影響は何か？ そして、その影響をどのように定量化できるか？

主な発見

• ベースレートがグループ間で異なる場合、統計的平等性を満たす任意の分類器は、最小の連合誤差を被る必要があり、公平性と精度の間には本質的なトレードオフが存在する。
• グループ別誤差の和に対する下界は情報理論的にタイトであり、オラクル・ベイズ分類器から構築された確率的分類器によって達成可能である。
• 2つ以上のグループがある場合、下界は線形計画法を解くことで効率的に計算可能であり、著者らがTV-バーチャンター問題と呼ぶ。
• ベースレートが異なる場合、下界は正の値をとるため、公平性を達成するには全体の精度にある程度の損失が避けられない。
• グループ間のベイズ最適分類器が類似している場合、公平な表現の学習により、誤差率がグループ間で類似する精度の平等性が得られる。
• 実世界のデータセットを用いた実験結果により、理論的トレードオフが確認され、導出された下界のタイトネスが裏付けられた。