[論文レビュー] Fast Fair Regression via Efficient Approximations of Mutual Information

Daniel Steinberg, Alistair Reid+4 more|arXiv (Cornell University)|Feb 14, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 9

ひとこと要約

本稿では、条件付き相互情報量を用いて独立性、分離性、十分性を正則化することで、回帰モデルにおけるグループ公平性を強制する、高速で効率的な相互情報量の近似手法を提案する。計算速度に優れるが、既存手法を上回る精度-公平性のトレードオフを達成しており、計算効率の面でも優れており、強力な公平性性能を維持している。

ABSTRACT

Most work in algorithmic fairness to date has focused on discrete outcomes, such as deciding whether to grant someone a loan or not. In these classification settings, group fairness criteria such as independence, separation and sufficiency can be measured directly by comparing rates of outcomes between subpopulations. Many important problems however require the prediction of a real-valued outcome, such as a risk score or insurance premium. In such regression settings, measuring group fairness criteria is computationally challenging, as it requires estimating information-theoretic divergences between conditional probability density functions. This paper introduces fast approximations of the independence, separation and sufficiency group fairness criteria for regression models from their (conditional) mutual information definitions, and uses such approximations as regularisers to enforce fairness within a regularised risk minimisation framework. Experiments in real-world datasets indicate that in spite of its superior computational efficiency our algorithm still displays state-of-the-art accuracy/fairness tradeoffs.

研究の動機と目的

• 従来の公平性基準が条件付き密度発散の推定に依存するため、計算的に実行不可能であるという、回帰設定におけるグループ公平性の測定と強制の課題に対処すること。
• 回帰モデルにおける独立性、分離性、十分性の公平性基準を符号化する、高速でスケーラブルな相互情報量の近似を構築すること。
• これらの近似を正則化リスク最小化フレームワーク内に統合し、モデルの精度と公平性の間の効率的なトレードオフを可能にすること。
• 実世界のデータセットを用いて、実験的に本手法の性能を最先端の手法と比較し、公平性と計算効率の両面に焦点を当てる。

提案手法

• 本手法は、予測値、ターゲット、感受性属性の連合分布のカーネル表現上で訓練された線形補間モデル（LSPC）を用いて、条件付き相互情報量を近似する。
• 独立性、分離性、十分性といった公平性制約を、情報理論的定義に基づいて正規化された相互情報量に基づく正則化子として定式化する。
• LSPC近似により、高価な密度推定を回避することで、O(n)の線形時間計算が可能となり、従来のO(n²)スケーリングを示す手法とは対照的である。
• 本手法はモデルに依存せず、任意の回帰モデルに公平性正則化子を追加することで適用可能である。
• モンテカルロ統合とパラメトリックな連合分布を用いて、制御された設定下で相互情報量近似の精度を評価する。
• 本手法は実世界のデータセットを用いて評価され、公平性は3つのコア基準に対して直接測定され、計算効率は最先端の代替手法と比較される。

実験結果

リサーチクエスチョン

• RQ1 高速で効率的な条件付き相互情報量の近似を用いることで、精度を損なわずに回帰モデルにおける公平性を強制できるか？
• RQ2 これらの近似は、独立性、分離性、十分性といった公平性基準に必要な真の相互情報量の値をどれほど正確に捉えているか？
• RQ3 本手法の計算効率は、既存の公平性正則化子と比較してどの程度であるか？
• RQ4 最先端の手法と比較した場合、本手法は競争力のある精度-公平性のトレードオフを達成できるか？

主な発見

• 提案されたLSPC近似による相互情報量は、精度と計算効率の間で良好なバランスを達成しており、先行手法と比較して実行時間が線形にスケーリング（O(n)）される一方で、O(n²)スケーリングを示す既存手法とは対照的である。
• LSPC近似は真の相互情報量に対する適切な忠実度を示しており、100のテストシナリオにおいてKSGやフーリエ特徴を備えたロジスティック回帰といったより高価な推定器と同等の性能を発揮した。
• 著しく高速であるにもかかわらず、最先端の手法と同等の精度-公平性のトレードオフを達成しており、強力な実用的性能を示している。
• 本手法は情報理論的公平性基準を回帰で実際に利用可能にし、独立性、分離性、十分性の3つすべての観点でのトレードオフについて、この分野で初めて包括的な実証的調査を提供した。