[論文レビュー] Toward a better trade-off between performance and fairness with kernel-based distribution matching

Flavien Prost, Hai Qian+4 more|arXiv (Cornell University)|Oct 25, 2019

Ethics and Social Impacts of AI被引用数 8

ひとこと要約

この論文は、機械学習におけるモデル性能と公平性のトレードオフを改善するため、MinDiffフレームワーク内でのカーネルベースの分布マッチング手法を提案する。相関に基づく正則化を最大平均差分（MMD）に置き換えることで、性能と公平性のパレートフロンティアが著しく向上し、偽陽性率のギャップを最大80％まで低減しながら、実世界の産業システムでも高い精度を維持する。

ABSTRACT

As recent literature has demonstrated how classifiers often carry unintended biases toward some subgroups, deploying machine learned models to users demands careful consideration of the social consequences. How should we address this problem in a real-world system? How should we balance core performance and fairness metrics? In this paper, we introduce a MinDiff framework for regularizing classifiers toward different fairness metrics and analyze a technique with kernel-based statistical dependency tests. We run a thorough study on an academic dataset to compare the Pareto frontier achieved by different regularization approaches, and apply our kernel-based method to two large-scale industrial systems demonstrating real-world improvements.

研究の動機と目的

• 実世界の機械学習システムにおけるモデル性能と公平性のバランスを改善すること。
• 統計的独立性を保証できない既存の相関ベースの公平性正則化技術の改善。
• より効果的な公平性正則化手法として、カーネルベースの統計的依存性検定（MMD）を評価・導入すること。
• MMDベースの正則化が大規模なプロダクションシステムにおいて実用的に有効であることを示すこと。

提案手法

• 予測確率とサブグループ識別子の間の統計的依存性を測定するために、最大平均差分（MMD）を公平性正則化損失として用いるようにMinDiffフレームワークを拡張する。
• 負例（Y=0）におけるサブグループごとの予測分布を比較するために、ユニバーサルカーネル（ガウスまたはラプラス）を用いてMMDを計算する。
• MinDiffにおける相関ベースの損失をMMDベースの損失に置き換え、勾配降下法で最適化する。
• 訓練中にMMD損失を適用し、サブグループ間の分布差を最小化することで、公平性を促進する。推論時にはサブグループラベルを必要としない。
• 二値分類器およびペairワイズ順位付けレコメンデーションシステムの両方への適用により、予測差とサブグループメンバーシップとの依存性をMMDでペナルティ化する。
• ハイパーパrameter λ は、主タスク損失と公平性正則化の間のトレードオフを制御し、パレートフロンティア分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースの分布マッチング（MMD）は、相関ベースの正則化よりも、公平性学習における性能と公平性のトレードオフをより良く達成できるか？
• RQ2 MMDベースの正則化は、サブグループ間の偽陽性率ギャップを相関ベースの手法と比較してどの程度低減できるか？
• RQ3 MMDベースのMinDiffは、主タスク性能を低下させることなく、大規模な産業用機械学習システムに効果的に導入可能か？
• RQ4 カーネルの選択（例：ガウスカーネル対ラプラスカーネル）が、実際の公平性・精度のトレードオフに顕著な影響を及ぼすか？

主な発見

• MMDベースのMinDiffは、相関ベースの正則化と比較して顕著に優れたパレートフロンティアを達成し、FPRギャップを0.01未満にまで低減しながら、精度は83％以上を維持した。
• 学術的データセットでは、MMDによりFPRギャップを0.14から0.02にまで低減した。一方、相関手法では0.02未満にギャップを低減できなかった。
• プロダクション分類器システムでは、MMDによりFPR比ギャップを相関ベースのベースラインと比較して45％低減したが、主タスク性能への影響は中立的であった。
• レコメンデーションシステムでは、MMDによりペアワイズ順位付け精度の総合ギャップを相関ベースのMinDiff手法と比較して65％低減した。相関手法では60％の低減にとどまった。
• カーネルの選択（ガウスカーネル対ラプラスカーネル）が性能に顕著な影響を及ぼさず、カーネル選択に対して頑健であることが示された。
• オンライン実験により、MMDベースの特徴量が全体のシステム性能に中立的な影響を与えることが確認され、実用的導入可能性が裏付けられた。