[論文レビュー] Achieving Equalized Odds by Resampling Sensitive Attributes

Yaniv Romano, Stephen Bates+1 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

本稿では、再サンプリングされた感受性属性を用いて違反をペナルティ化することで、機械学習モデルにおける等しいオッズの公平性を保証する微分可能フレームワークを提案する。差分関数を構築し、再サンプリングを用いて公平性を確保することで、モデルの性能向上が図られ、公平性に関する厳密な仮説検定が可能となり、回帰および多クラス分類への応用が可能である。

ABSTRACT

We present a flexible framework for learning predictive models that approximately satisfy the equalized odds notion of fairness. This is achieved by introducing a general discrepancy functional that rigorously quantifies violations of this criterion. This differentiable functional is used as a penalty driving the model parameters towards equalized odds. To rigorously evaluate fitted models, we develop a formal hypothesis test to detect whether a prediction rule violates this property, the first such test in the literature. Both the model fitting and hypothesis testing leverage a resampled version of the sensitive attribute obeying equalized odds, by construction. We demonstrate the applicability and validity of the proposed framework both in regression and multi-class classification problems, reporting improved performance over state-of-the-art methods. Lastly, we show how to incorporate techniques for equitable uncertainty quantification---unbiased for each group under study---to communicate the results of the data analysis in exact terms.

研究の動機と目的

• 感受性属性（人種や性別など）が関与する状況において、予測モデルにおける等しいオッズの公平性を保証する課題に対処すること。
• 最適化に基づく公平性向上を可能にする、等しいオッズの違反度を定量化する微分可能な差分関数を構築すること。
• 文献において初となる、等しいオッズの違反を厳密に検出できる形式的仮説検定を確立すること。
• 公平性の高い不確実性評価技術を統合し、デモグラフィックグループに偏りのない解釈を可能にすること。
• 回帰および多クラス分類タスクにおいて、最先端の手法を上回る性能を示すことで、フレームワークの有効性を実証すること。

提案手法

• 感受性グループごとのモデル予測が等しいオッズをどの程度違反しているかを測定する微分可能な差分関数を導入する。
• 感受性属性の再サンプリングを用いて、等しいオッズを内蔵的に満たす代理変数を構築し、これをモデル学習および仮説検定の両方で使用する。
• 差分関数をモデルの目的関数にペナルティ項として適用し、パラメータが等しいオッズの適合に近づくように最適化を促進する。
• 再サンプリングされた感受性属性を用いて、第1種エラー率を制御した形式的統計的仮説検定を実施し、等しいオッズの違反を検出する。
• 予測区間または信用区間がグループ間で偏りのないよう保証する、公平性に配慮した不確実性評価手法を統合する。
• ペナルティ項を含めた標準的な最適化手法を用いてモデルを学習し、公平性制約を維持したままエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最適化に基づく微分可能なフレームワークを設計し、機械学習モデルにおける等しいオッズの公平性を強制できるか？
• RQ2 感受性属性の再サンプリング版を用いて、公平なモデルの学習と公平性違反の検出の両方を実現できるか？
• RQ3 形式的統計的仮説検定により、第1種エラー率を厳密に制御した状態で等しいオッズの違反を検出できるか？
• RQ4 提案手法は、回帰および多クラス分類において、最先端の公平性アプローチと比較してモデル性能を向上させられるか？
• RQ5 公平性に配慮した不確実性評価を統合することで、デモグラフィックグループに跨るモデル予測の公平な解釈が可能になるか？

主な発見

• 提案されたフレームワークは、学習中の公平性違反をペナルティ化する微分可能な差分関数を用いることで、等しいオッズを効果的に強制した。
• 再サンプリングされた感受性属性の使用により、学習および仮説検定の両方が、設計上等しいオッズを満たす構造に根ざしていることが保証された。
• 等しいオッズの違反を検出する形式的仮説検定が初めて開発され、予測モデルの公平性に関する厳密な統計的評価が可能になった。
• 実験的結果から、回帰および多クラス分類タスクにおいて、最先端の手法を上回る性能が得られた。
• 公平性に配慮した不確実性評価技術が成功裏に統合され、デモグラフィックグループに跨る予測区間が偏りのないことが保証された。
• フレームワークは、公平性と解釈可能性を維持したまま、多様な機械学習問題にわたって堅牢かつ適用可能であることが示された。