[論文レビュー] Repairing without Retraining: Avoiding Disparate Impact with Counterfactual Distributions

Hao Wang, Berk Ustun+1 more|arXiv (Cornell University)|Jan 29, 2019

Ethics and Social Impacts of AI被引用数 26

ひとこと要約

この論文では、再訓練を必要とせず、影響関数の勾配降下を用いて公平性指標を最小化することで、ブラックボックス機械学習分類器における差別的影響を軽減する手法を提案する。このアプローチにより、再訓練を伴わず、精度の低下を最小限に抑えた前処理が可能となり、実世界のデータセットを用いた検証で顕著な差別の低減が確認された。

ABSTRACT

When the performance of a machine learning model varies over groups defined by sensitive attributes (e.g., gender or ethnicity), the performance disparity can be expressed in terms of the probability distributions of the input and output variables over each group. In this paper, we exploit this fact to reduce the disparate impact of a fixed classification model over a population of interest. Given a black-box classifier, we aim to eliminate the performance gap by perturbing the distribution of input variables for the disadvantaged group. We refer to the perturbed distribution as a counterfactual distribution, and characterize its properties for common fairness criteria. We introduce a descent algorithm to learn a counterfactual distribution from data. We then discuss how the estimated distribution can be used to build a data preprocessor that can reduce disparate impact without training a new model. We validate our approach through experiments on real-world datasets, showing that it can repair different forms of disparity without a significant drop in accuracy.

研究の動機と目的

• 再訓練が不可能な状況（ブラックボックスアクセスやデータプライバシー制約）において、展開済みの機械学習モデルにおける差別的影響を是正すること。
• モデル自体を変更せずに、不利なグループの入力分布のみを変更することで公平性を修復する手法を開発すること。
• 理論的裏付けがあり、データ駆動型のアプローチとして、公平性の乖離を最小化する反事後分布を学習すること。
• モデルの精度を保持したまま不利なグループの結果を改善する前処理を可能にすること。
• 医療や融資など公平性が重要な応用分野における感受性属性の倫理的かつ法的利用を支援すること。

提案手法

• 本手法は、固定された分類器下で公平性指標（例：FPR、DA）を最小化するように、不利なグループの入力分布の摂動として反事後分布を定義する。
• 反事後分布の最適化を、確率分布の単体上での勾配降下手続きとして定式化し、影響関数を用いて勾配を計算する。
• 主な公平性基準に対して影響関数の閉形式推定器を導出し、実データから効率的な計算を可能にする。
• 訓練データからの経験的分布を用いて勾配を推定し、反事後分布を繰り返し精緻化する。
• 推定された反事後分布から前処理器を構築し、推論前に不利なグループからの入力を変換する。
• 実世界のデータセットおよび合成実験を用いて、公平性指標（例：FPR、DA）の降下による検証を実施。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、ブラックボックス分類器における差別的影響を低減する反事後入力分布を学習可能か？
• RQ2 影響関数を確率分布空間における勾配計算に適応し、公平性最適化に用いる方法は何か？
• RQ3 反事後分布に基づく前処理は、モデル精度を保持したまま公平性の向上を達成できるか？
• RQ4 標本不確実性下での推定反事後分布の統計的収束挙動はいかなるものか？
• RQ5 複数の同時代理変数が存在する状況で、本手法は代理変数の単一除去法を上回るか？

主な発見

• 合成実験において、勾配降下手順により偽陽性率（FPR）が29.1％から4.1％に低下し、顕著な公平性の向上を示した。
• 同時代理変数の状況では、単一の代理変数（X₁）を削除すると、差別度が14.0％から24.8％に上昇し、単変数削除の限界を示した。
• 提案手法の前処理を適用することで、同時代理変数実験において差別度指標DA₀が14.0％から0.0％に低下し、有効性が確認された。
• 実世界のデータセットを用いた検証で、公平性の修復と高いモデル精度の両立が示された。
• 経験的収束バインディングにより、標本下で推定影響関数および公平性指標が一貫しており、誤差率はO(1/√n)のスケーリングを示した。
• 反事後分布は一意ではないが、選択された公平性指標を効果的に最小化する解に収束することが確認された。