[論文レビュー] FACT: A Diagnostic for Group Fairness Trade-offs

Joon Sik Kim, Jiahao Chen+1 more|arXiv (Cornell University)|Apr 7, 2020

Ethics and Social Impacts of AI参考文献 28被引用数 12

ひとこと要約

この論文は、保護される属性に沿って混同行列を分割することで得られる公平性–誤り度テンソルの線形または二次関数として公平性の概念を表現することにより、グループの公平性のトレードオフをモデル化する診断フレームワークFACT（Fairness-Confusion Tensor）を導入する。この手法により、PFOP、LAFOP、MS-LAFOPを用いて精度と公平性を体系的に最適化でき、不適合性を特定し、より良い公平性–精度のトレードオフを達成するための事後処理を支援する。実験では、Adultデータセットを含む合成データおよび実データで妥当性が確認された。

ABSTRACT

Group fairness, a class of fairness notions that measure how different groups of individuals are treated differently according to their protected attributes, has been shown to conflict with one another, often with a necessary cost in loss of model's predictive performance. We propose a general diagnostic that enables systematic characterization of these trade-offs in group fairness. We observe that the majority of group fairness notions can be expressed via the fairness-confusion tensor, which is the confusion matrix split according to the protected attribute values. We frame several optimization problems that directly optimize both accuracy and fairness objectives over the elements of this tensor, which yield a general perspective for understanding multiple trade-offs including group fairness incompatibilities. It also suggests an alternate post-processing method for designing fair classifiers. On synthetic and real datasets, we demonstrate the use cases of our diagnostic, particularly on understanding the trade-off landscape between accuracy and fairness.

研究の動機と目的

• 複数のグループ公平性概念とモデル性能の間のトレードオフを診断する一般化されたフレームワークの欠如に対処すること。
• 統一されたテンソル表現を通じて、公平性定義と混同行列の関係を形式化すること。
• 凸最適化を用いて、モデルに依存しないおよびモデル特有の公平性–精度のトレードオフの分析を可能にすること。
• モデル学習の前段階で、公平性制約同士の本質的な不適合性を特定する診断ツールを提供すること。
• 性能損失を最小限に抑えつつ公平性制約を満たすように、公平な分類器のための事後処理手法を開発すること。

提案手法

• 保護される属性の軸に沿って標準的な混同行列を分割することで、公平性–誤り度テンソルを構築し、性能と公平性の両方を統合的にモデル化可能にする。
• 多くのグループ公平性定義（例：デモグラフィックパラティーション、等しい機会差分）が、テンソル要素の線形または二次関数として表現可能である。
• 性能–公平性最適化問題（PFOP）は、モデルパラメータではなくテンソル要素に対する制約付き最適化として定式化される。
• 2つの具体的な実装が導入される：モデルに依存しない分析用のLAFOP（最小二乗法による精度–公平性最適化問題）と、モデル特有の分析用のMS-LAFOP（モデル特有LAFOP）。
• 診断は凸最適化を用いて、複数の公平性概念にわたる公平性–精度のトレードオフを可視化するパレートフロンティアを計算する。
• MS-LAFOPの解から混合率を導出し、事後処理を可能にし、任意の事前に訓練された分類器に適用することで、精度損失を最小限に抑えながら公平性を向上できる。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークは、共通のテンソル表現を通じて多様なグループ公平性概念を表現可能か？
• RQ2 異なる公平性制約どうしがどのように相互作用し、それらの間に本質的な不適合性が存在するか？
• RQ3 どれほどまでに、モデル学習の前段階で公平性–精度のトレードオフを診断および最適化できるか？
• RQ4 FACT診断は、既存の手法よりも優れた公平性–精度のバランスを達成するための事後処理をどのように導けるか？
• RQ5 異なる公平性概念が、モデル性能や他の公平性条件に与える相対的影響は何か？

主な発見

• 公平性–誤り度テンソルは、多数のグループ公平性概念を線形または二次関数として的確に捉え、体系的な最適化を可能にした。
• FACTは、公平性同士の不適合性が本質的であり、テンソルフレームワークを用いることでモデル学習の前段階で診断可能であることを明らかにした。
• Adultデータセットでは、FACTソリューションはHardtら（2016）のEOdソリューションよりも顕著に小さな公平性ギャップを達成しながら、競争力ある精度を維持した。
• モデル特有のFACTパレートフロンティア（MS-LAFOP）は、モデルに依存しないフロンティアよりも、よりきめ細かく現実的で厳しい境界を提供した。
• 診断は、既存の手法を上回る性能を示す事後処理を可能にし、予測性能を損なうことなくトレードオフを軽減した。
• このフレームワークは任意の数の公平性制約に一般化可能であり、精度や再現率などの他の性能指標へも拡張可能である。