[論文レビュー] Kernel Dependence Regularizers and Gaussian Processes with Applications to Algorithmic Fairness

Zhu Li, Adrián Pérez-Suay+2 more|arXiv (Cornell University)|Nov 11, 2019

Machine Learning and Data Classification参考文献 35被引用数 12

ひとこと要約

本稿では、予測結果と感受性のある変数の間の統計的独立性を、ヒルベルト＝シュミット独立性基準（HSIC）を用いて正則化するカーネルベースの正則化フレームワークを提案する。これにより、より公平な機械学習が可能になる。リッジ回帰に対して閉形式解を導出し、解釈可能なハイパーパrameter選択が可能な原理的根拠を持つガウス過程（GP）の定式化を実現し、実世界の収入および犯罪予測タスクにおいて、公平性と精度のトレードオフが向上することを示している。

ABSTRACT

Current adoption of machine learning in industrial, societal and economical activities has raised concerns about the fairness, equity and ethics of automated decisions. Predictive models are often developed using biased datasets and thus retain or even exacerbate biases in their decisions and recommendations. Removing the sensitive covariates, such as gender or race, is insufficient to remedy this issue since the biases may be retained due to other related covariates. We present a regularization approach to this problem that trades off predictive accuracy of the learned models (with respect to biased labels) for the fairness in terms of statistical parity, i.e. independence of the decisions from the sensitive covariates. In particular, we consider a general framework of regularized empirical risk minimization over reproducing kernel Hilbert spaces and impose an additional regularizer of dependence between predictors and sensitive covariates using kernel-based measures of dependence, namely the Hilbert-Schmidt Independence Criterion (HSIC) and its normalized version. This approach leads to a closed-form solution in the case of squared loss, i.e. ridge regression. Moreover, we show that the dependence regularizer has an interpretation as modifying the corresponding Gaussian process (GP) prior. As a consequence, a GP model with a prior that encourages fairness to sensitive variables can be derived, allowing principled hyperparameter selection and studying of the relative relevance of covariates under fairness constraints. Experimental results in synthetic examples and in real problems of income and crime prediction illustrate the potential of the approach to improve fairness of automated decisions.

研究の動機と目的

• 人種や性別などの感受性属性と予測結果の間の統計的依存を低減することで、機械学習におけるアルゴリズムの公平性を実現する。
• 感受性のある変数を直接削除する手法の限界を克服する。これは、関連する共変数がバイアスを保持する（レディニングおよび変数省略バイアス）場合に失敗するためである。
• カーネルベースの依存測度を用いて統計的同等性を強制する正則化フレームワークを構築し、予測結果が感受性のある変数に依存しないことを保証する。
• 正則化されたカーネル法から導出されるガウス過程の定式化により、ハイパーパrameter選択を原理的に行い、モデルの解釈可能性を向上させる。
• 合成データおよび実世界のデータセット（Adult収入およびCommunities and Crime）を用いて、本手法の有効性を実証し、公平性と精度のトレードオフが向上することを示す。

提案手法

• 再生核ヒルベルト空間（RKHS）上での正則化された経験的リスク最小化問題として公平性を定式化し、予測結果と感受性のある変数の間の依存をペナルティとするHSICに基づく正則化項を追加する。
• スケール不変で解釈可能な正則化を保証するため、正規化されたヒルベルト＝シュミット独立性基準（HSIC）を統計的依存のカーネルベースの測度として用いる。
• 正則化されたカーネルリッジ回帰問題に対して閉形式解を導出し、効率的な最適化と理論的解析を可能にする。
• 正則化されたカーネル法を、カーネル共分散構造を変更する事前分布を備えたガウス過程（GP）として再解釈する。
• 公平性制約下で各特徴量（特に感受性のある変数）の相対的影響を評価するために、GPフレームワークに自動関連性決定（ARD）カーネルを導入する。
• GPフレームワーク内で対数尤度最大化を用いてハイパーパrameterチューニングを実施し、原理的かつ頑健なモデル選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 HSICのようなカーネルベースの依存測度は、予測の統計的同等性を達成するために機械学習モデルに正則化として効果的に適用可能か？
• RQ2 HSIC正則化を組み込むことで、カーネルリッジ回帰に閉形式解が得られるか？また、標準的なリッジ回帰と比較してどのように異なるか？
• RQ3 公平性正則化付きカーネル法は自然にガウス過程に拡張可能か？また、これによりハイパーパrameter選択と解釈可能性が向上するか？
• RQ4 公平性正則化下で、感受性のある変数の学習済みカーネル帯域幅（例：ARDパラメータ）はどのように変化するか？これにより予測への影響がどのように変化するか？
• RQ5 提案手法は、収入および犯罪予測などの実世界の予測タスクにおいて、公平性と精度のトレードオフをどの程度改善するか？

主な発見

• 公平性正則化付きカーネルリッジ回帰は閉形式解を達成しており、公平な予測タスクにおける効率的かつスケーラブルな実装を可能にする。
• 正則化されたカーネル法から導出されたGP定式化により、対数尤度最大化を用いた原理的ハイパーパrameter選択が可能となり、モデルの頑健性が向上する。
• Communities and Crimeデータセットにおいて、ARDカーネルを備えた公平なGPは、感受性のある変数の帯域幅（θi）を顕著に増加させた。例えば、Race-Blackは1.809から2.939に、Income-Asianは17.76から386.2に上昇した。これは、これらの特徴量が予測に与える影響が低減したことを示している。
• 不正義度指標は、標準GPの0.050 ± 0.001から、公平なGPの0.0024 ± 0.0001に低下し、統計的同等性の大幅な向上が確認された。
• 特に、Adult収入データセットではGPのハイパーパrameter最適化の利点が顕著に現れたが、公平なGPモデルは標準GPおよびカーネルリッジ回帰よりも優れた公平性と精度のトレードオフを達成した。
• 本手法は、感受性のある変数を削除せずに、その影響を効果的に低減する。これにより、実世界の応用においてレディニングおよび変数省略バイアスを緩和できる。