[論文レビュー] Spectral Algorithms for Computing Fair Support Vector Machines

Matt Olfat, Anil Aswani|arXiv (Cornell University)|Oct 16, 2017

Face and Expression Recognition参考文献 22被引用数 8

ひとこと要約

本稿では、保護的クラスに条件付けられた共分散行列に非凸二次制約を課すことにより、公平なサポートベクターマシン（SVM）を計算するスペクトルアルゴリズムを提案する。非凸性に対処するために反復的スペクトル分解を用いる。この手法は、予測精度を高く保ちながら、あらゆるしきい値において公平性を確保し、合成データおよび実世界のデータセットにおいてベースライン手法を上回る性能を発揮するが、精度の損失は最小限に抑えられ、公平性の制御が向上する。

ABSTRACT

Classifiers and rating scores are prone to implicitly codifying biases, which may be present in the training data, against protected classes (i.e., age, gender, or race). So it is important to understand how to design classifiers and scores that prevent discrimination in predictions. This paper develops computationally tractable algorithms for designing accurate but fair support vector machines (SVM's). Our approach imposes a constraint on the covariance matrices conditioned on each protected class, which leads to a nonconvex quadratic constraint in the SVM formulation. We develop iterative algorithms to compute fair linear and kernel SVM's, which solve a sequence of relaxations constructed using a spectral decomposition of the nonconvex constraint. Its effectiveness in achieving high prediction accuracy while ensuring fairness is shown through numerical experiments on several data sets.

研究の動機と目的

• 決定しきい値が1つではなく、すべてのしきい値にわたって公平性を保証する、機械学習分類器（特にSVM）における公平性を扱う。
• 予測精度を高く保ちつつ、保護的クラス（例：性別、人種）に対するバイアスを低減する、計算的に実行可能なアルゴリズムを開発する。
• 受信者操作特性（ROC）曲線を用いて公平性を再定式化し、しきい値にわたる公平性の可視化および分析を改善する。
• 線形およびカーネルSVMにおける公平性を強制するために、条件付き共分散行列に基づく非凸二次制約を導入する。
• スペクトル分解を用いた反復的最適化フレームワークを設計し、公平性制約下で局所最小値に収束する。

提案手法

• 保護的クラスに条件付けられた入力特徴の共分散行列に制約を課すことにより公平性を定式化し、SVM最適化問題に非凸二次制約を導入する。
• 非凸制約のスペクトル分解を用いて、反復的に解かれる凸緩和問題の系列を構築する。
• スペクトル分解から導かれる凸部分問題を解くことでSVMパラメータを反復的に更新するアルゴリズムを適用し、局所最小値への収束を保証する。
• カーネルトリックを応用し、内積をカーネル関数に置き換えることで、非線形カーネルSVMへの適用を可能にする。
• 公平性と精度のトレードオフを制御するための正則化パラメータμを導入し、μ=0はベースラインZSVM手法と同等である。
• 交差検証を用いてハイパーパrameter（例：LSVMのλ）をチューニングし、データセット全体にわたるSSVMとZSVMの公平な比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 原理的最適化フレームワークを用いて、1つのしきい値だけでなく、すべてのしきい値にわたってSVMにおける公平性を強制することは可能か？
• RQ2 条件付き共分散行列に基づく非凸公平性制約は、SVM学習においてどのように効率的に解けるか？
• RQ3 スペクトル緩和を用いてすべてのしきい値にわたって公平性を強制する際の、予測精度と公平性のトレードオフはいかなるものか？
• RQ4 提案されたスペクトルアルゴリズムは、既存の公平SVM手法（例：Zafarら）と比較して、公平性および精度の面で優れているか？
• RQ5 提案手法は、予測精度を著しく低下させることなく公平性を向上させることができ、場合によっては精度を向上させることでさえ可能か？

主な発見

• 提案されたSSVM手法は、標準線形SVMおよびZSVMと比較して、公平性パラメータdが大きくなるほど顕著に改善された公平性（DP-Δの低減）を達成する。
• 合成データおよび実世界のデータセット（ワインの品質、ドイツのクレジット）の両方において、SSVMは高いAUC（ROC曲線下の面積）を維持しながら、あらゆるしきい値で明確に公平性が向上している。
• SSVMにおける正則化パラメータμのわずかな増加は、しばしば公平性と精度の両方を向上させることが示され、公平性-精度トレードオフに対する効果的な制御が可能である。
• μ=0のとき、SSVMはZSVMに還元され、ベースライン手法と同等であることが確認され、μおよびdに対する感度が示され、細かい公平性の制御が可能である。
• アルゴリズムは局所最小値に収束し、数値結果から、予測精度の損失を最小限に抑えつつ公平性を向上させることができることが示された。一部のケースでは、公平性を高めた際、精度がわずかに向上する場合さえも観察された。