[論文レビュー] Maximum Weighted Loss Discrepancy

Fereshte Khani, Aditi Raghunathan+1 more|arXiv (Cornell University)|Jun 8, 2019

Mathematical Approximation and Integration参考文献 23被引用数 6

ひとこと要約

本稿では、グループの損失と母集団の損失の間の最悪ケース加重差を定量化するグループ公平性の測度である最大加重損失差異（MWLD）を導入する。MWLDは、減衰型重み関数の族に対して効率的に推定可能であり、損失分散と密接に関連しており、損失分散による正則化により、4つの公平性ベンチマークデータセットで精度の著しい低下を伴わずにMWLDが最大50％まで低減されることを示している。

ABSTRACT

Though machine learning algorithms excel at minimizing the average loss over a population, this might lead to large discrepancies between the losses across groups within the population. To capture this inequality, we introduce and study a notion we call maximum weighted loss discrepancy (MWLD), the maximum (weighted) difference between the loss of a group and the loss of the population. We relate MWLD to group fairness notions and robustness to demographic shifts. We then show MWLD satisfies the following three properties: 1) It is statistically impossible to estimate MWLD when all groups have equal weights. 2) For a particular family of weighting functions, we can estimate MWLD efficiently. 3) MWLD is related to loss variance, a quantity that arises in generalization bounds. We estimate MWLD with different weighting functions on four common datasets from the fairness literature. We finally show that loss variance regularization can halve the loss variance of a classifier and hence reduce MWLD without suffering a significant drop in accuracy.

研究の動機と目的

• 機械学習モデルにおける性的・文化的背景に起因する損失差異の問題に取り組むこと、特にグループ情報が利用できない状況を想定する。
• グループ損失と母集団損失の間の最大加重差を捉える新しい公平性指標、最大加重損失差異（MWLD）を形式化すること。
• MWLDの理論的性質を確立すること。これには、統計的推定可能性、一般化性およびロバストネスとの関連性が含まれる。
• 損失分散および粗い損失分散を用いた、MWLDの効率的推定および正則化技術の開発と検証を行うこと。
• 実験的に、損失分散正則化がMWLDを低減するが、モデルの精度を維持または向上させることを示すこと。

提案手法

• MWLDを、すべてのグループについて、グループ損失と母集団損失の間の加重絶対差の上界として定義する公平性指標として提案する。
• 有限標本からのMWLDの効率的かつ一貫した推定を可能にする、減衰型重み関数の族 $ w^k(g) = \mathbb{E}[g]^k $ を導入する。
• MWLDと損失分散の理論的関連性を確立し、$ \text{MWLD}(w^{1/2}) $ が損失分散の上限および下限を与えることを示す。
• 事前に定義された感受性属性の組み合わせを対象とする正則化を可能にする拡張として、粗い損失分散（CLV）を提案する。
• 損失分散（LV）および粗い損失分散（CLV）の正則化を用いた経験的リスク最小化を採用し、MWLDを低減するモデルを学習する。
• グリッドサーチを用いて正則化ハイパーパrameter $ \lambda $ をチューニングし、4つの公平性ベンチマークデータセットで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 MWLDは有限データから一貫して推定可能か？どのような条件下で可能か？
• RQ2 MWLDは一般化性およびロバストネス（特に文化的背景の変化下）とどのように関連しているか？
• RQ3 MWLDと損失分散の関係は何か？この関係を正則化に活用できるか？
• RQ4 損失分散または粗い損失分散による正則化は、モデルの精度を著しく損なわずにMWLDを効果的に低減できるか？
• RQ5 異なる重み関数 $ w^k $ は、MWLDの収束性および解釈性にどのように影響を与えるか？

主な発見

• 損失分散正則化により、分類器の損失分散が最大50％まで低減され、平均精度に著しい影響を及ぼさずにMWLDが顕著に低減される。
• 同じ目標となるMWLD値を達成する場合、粗い損失分散正則化は標準損失分散正則化（0.45）よりも低い平均誤差（0.415）を達成しており、よりタイトな境界が得られることを示している。
• $ k $ 値が小さい（例：$ k=0.5 $）場合、MWLDは母集団値への収束が遅く、最大差異を示すグループも $ k $ の減少に伴い縮小する。
• 粗い損失分散による正則化は、感受性属性の組み合わせからなる任意のグループについて、MWLDの保証付き上界を提供する。
• COMPASデータセットでは、CLV正則化を用いることで、最先端の手法と同等の公平性-精度トレードオフを達成し、D-FNR や D-FPR といった公平性指標が向上した。
• 一貫性のない推定器（プラグイン推定器）は、一様重み（$ w^0 $）では統計的に不一致であるが、減衰型族 $ w^k $ では一貫しているため、信頼できる推定が可能である。