[論文レビュー] Model-Agnostic Characterization of Fairness Trade-offs

Joon Sik Kim, Jiahao Chen+1 more|arXiv (Cornell University)|Apr 7, 2020

Ethics and Social Impacts of AI被引用数 1

ひとこと要約

本稿では、公平性・誤り行列テンソルを用いたモデルに依存しない診断フレームワークを導入し、グループ公平性の概念とモデルの精度の間のトレードオフを体系的に分析する。このテンソル上で最適化問題を定式化することにより、公平性基準間の不適合性が明らかになり、後処理による公平な分類器の設計が可能になる。実験では合成データおよび実世界のデータセットを用いて有効性が示された。

ABSTRACT

Group fairness, a class of fairness notions that measure how different groups of individuals are treated differently according to their protected attributes, has been shown to conflict with one another, often with a necessary cost in loss of model's predictive performance. We propose a general diagnostic that enables systematic characterization of these trade-offs in group fairness. We observe that the majority of group fairness notions can be expressed via the fairness-confusion tensor, which is the confusion matrix split according to the protected attribute values. We frame several optimization problems that directly optimize both accuracy and fairness objectives over the elements of this tensor, which yield a general perspective for understanding multiple trade-offs including group fairness incompatibilities. It also suggests an alternate post-processing method for designing fair classifiers. On synthetic and real datasets, we demonstrate the use cases of our diagnostic, particularly on understanding the trade-off landscape between accuracy and fairness.

研究の動機と目的

• 複数のグループ公平性概念が衝突する問題に起因するモデルの予測性能の低下を緩和すること。
• 多様な公平性基準における精度と公平性のトレードオフを体系的に特徴付ける一般化された診断ツールの開発。
• 共通のテンソル表現を通じて、グループ公平性概念間の不適合性を統一的に理解するフレームワークの構築。
• トレードオフの状況を踏まえた洞察を活用し、後処理による公平な分類器の設計を可能にすること。

提案手法

• 保護属性の値ごとに分離された混同行列を表現する公平性・誤り行列テンソルを用いた、公平性トレードオフの表現。
• テンソル要素を用いて、複数の公平性基準における精度の最大化と公平性違反の最小化を同時に最適化する最適化問題の定式化。
• 公平性・誤り行列テンソルの構造を分析することで、公平性の不適合性に関する一般的な洞察を導出。
• 最適化されたテンソル構造に基づく、代替的な公平分類のための後処理手法の提案。
• 合成データおよび実世界のデータセットを用いて、トレードオフの状況を評価するフレームワークの適用。

実験結果

リサーチクエスチョン

• RQ1 複数のグループ公平性概念間の公平性トレードオフを、どのように体系的かつ可視化的に診断できるか？
• RQ2 一般的なグループ公平性基準間に存在する不適合性とは何か？ そして、それらはモデルの精度にどのように影響を与えるか？
• RQ3 公平性・誤り行列テンソルは、多様な公平性目的の分析をどの程度統一的に可能にするか？
• RQ4 提案された最適化フレームワークは、実際の場面で改善された公平性・精度のトレードオフを達成できるか？
• RQ5 診断から得られた後処理手法は、公平な分類器の作成においてどの程度有効か？

主な発見

• 公平性・誤り行列テンソルは、複数のグループ公平性概念を効果的に捉え、精度と公平性の両方の分析を統合的に可能にする。
• フレームワークにより、精度を最適化しても、デモグラフィックパラメータと等しい機会といった公平性基準間の本質的な不適合性が明らかになった。
• 公平性・誤り行列テンソル上の最適化により、精度の著しい損失を伴わずに、複数の指標における公平性性能が向上した。
• フレームワークから導出された後処理手法は、実世界のデータセットにおいて競争力のある公平性の結果を達成した一方で、モデルの有用性を保持した。
• 合成データおよび実データにおける実証的評価により、診断手法が複雑な公平性トレードオフの状況を可視化し、理解する上で有効であることが確認された。