[論文レビュー] Learning Fair Representations for Kernel Models

Zilong Tan, Samuel Yeom+2 more|arXiv (Cornell University)|Jun 27, 2019

Ethics and Social Impacts of AI参考文献 55被引用数 9

ひとこと要約

本稿では、再帰的再生ヒルバート空間（RKHS）における十分次元削減（SDR）を活用することで、カーネルベースのモデル向けにモデルに特化した公平な表現学習手法を提案する。これにより、統計的平等、機会の平等、等価なオッズといった複数の基準に対する保証可能な公平性が可能になる。本手法は、部分空間間の主な角度によってパrameter化された公平性と精度のトレードオフを実現し、初めての公平なガウス過程（FGP）事前分布により最先端の性能を達成する。

ABSTRACT

Fair representations are a powerful tool for establishing criteria like statistical parity, proxy non-discrimination, and equality of opportunity in learned models. Existing techniques for learning these representations are typically model-agnostic, as they preprocess the original data such that the output satisfies some fairness criterion, and can be used with arbitrary learning methods. In contrast, we demonstrate the promise of learning a model-aware fair representation, focusing on kernel-based models. We leverage the classical Sufficient Dimension Reduction (SDR) framework to construct representations as subspaces of the reproducing kernel Hilbert space (RKHS), whose member functions are guaranteed to satisfy fairness. Our method supports several fairness criteria, continuous and discrete data, and multiple protected attributes. We further show how to calibrate the accuracy tradeoff by characterizing it in terms of the principal angles between subspaces of the RKHS. Finally, we apply our approach to obtain the first Fair Gaussian Process (FGP) prior for fair Bayesian learning, and show that it is competitive with, and in some cases outperforms, state-of-the-art methods on real data.

研究の動機と目的

• カーネル法に特化した帰納的バイアスを組み込むことで、モデルに依存しない公平な表現学習の限界を克服すること。
• 統計的平等、代理非差別、機会の平等、等価なオッズといった複数の公平性基準を統一的なカーネルベースの枠組み内で保証する公平な表現学習フレームワークの開発。
• RKHS内の部分空間間の主な角度を用いて、公平性と精度のトレードオフを形式的に特徴づけ、制御可能にする。
• 共分散構造を通じて公平性を保証する初の公平なガウス過程（FGP）事前分布の構築。これによりベイジアン公平学習が可能になる。
• 実世界のデータセットを用いた実験的検証を通じて、最先端の手法と比較して優れた公平性と精度を示す。

提案手法

• 十分次元削減（SDR）を用いて、保護属性に依存しない情報を捉えるRKHSの部分空間にデータを射影することで、ややこしい条件下でも公平性を保証する。
• 保護属性へのSDR射影の直交補空間としての公平部分空間を構築し、条件付き平均が線形である場合、これらの属性から独立することを保証する。
• 精度を維持するために、応答変数に対するSDRにより予測部分空間を計算し、公平部分空間と予測部分空間の間に、主な角度パrameter ε を用いて第三のモデル部分空間を定義する。
• 部分空間間の canonical 角度を用いて、公平性と精度のトレードオフを形式的に特徴づけ、射影作用素の差の作用素ノルムがトレードオフを定量化する。
• GPとそのRKHSの双対性を活用して、公平なガウス過程（FGP）の閉形式の共分散カーネルを導出。これにより、すべてのサンプルパスがモデル部分空間内に存在することを保証する。
• QR分解と固有値分解を用いたアルゴリズムを実装し、公平基底を計算。保護属性および応答変数ごとに別々にSDRを適用する。

実験結果

リサーチクエスチョン

• RQ1 カーネルモデル向けに、複数の公平性基準を保証するモデルに特化した公平な表現を構築できるか？
• RQ2 カーネルベースの学習において、公平性と精度のトレードオフを形式的に特徴づけ、制御可能か？
• RQ3 提案された枠組みを拡張し、保証された公平性特性を持つ公平なガウス過程事前分布を構築できるか？
• RQ4 実世界のデータにおいて、得られた公平モデルの性能は、最先端の手法と比較して公平性と精度の両面で優れているか？
• RQ5 主な角度パrameter ε が公平性と予測精度のバランスに与える影響は何か？

主な発見

• 提案手法は、RKHS内での保護属性からの独立性を保証することで、統計的平等、機会の平等、等価なオッズといった複数の公平性基準を保証する。
• 公平部分空間と予測部分空間間の主な角度を用いて、公平性と精度のトレードオフが明確に特徴づけられ、射影作用素の差の作用素ノルムが √(1−γ²_min) として定量化される。ここで γ_min は最小の canonical 相関である。
• UCI や COMPAS を含む実世界のデータセットにおいて、最先端の公平学習ベースラインと比較して、競争力あるか、あるいは優れた精度を達成する。
• すべてのサンプルパスがモデル部分空間内に存在することを保証する共分散カーネルを導出することで、初の公平なガウス過程（FGP）事前分布を構築する。
• 実験的結果から、FGPはきめ細やかな公平性特性を満たしつつ、予測精度を維持または向上させ、多数のベンチマークで既存手法を上回ることが示された。
• 別々のSDR適用と核空間の計算により、複数の連続的または離散的保護属性を効率的に処理できる。