[論文レビュー] Fair Predictors under Distribution Shift

Harvineet Singh, Rina Singh+2 more|arXiv (Cornell University)|Nov 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 4

ひとこと要約

本稿では、因果的ドメイン適応を活用して、公平性制約下での特徴選択により、分布シフト下でも正確かつ公平な機械学習予測子を訓練する手法を提案する。合成データおよび測定方針のシフトと選択バイアスが生じる実世界の急性腎障害診断タスクにおいて、予測と公平性の両面で安定した性能を達成する。

ABSTRACT

Recent work on fair machine learning adds to a growing set of algorithmic safeguards required for deployment in high societal impact areas. A fundamental concern with model deployment is to guarantee stable performance under changes in data distribution. Extensive work in domain adaptation addresses this concern, albeit with the notion of stability limited to that of predictive performance. We provide conditions under which a stable model both in terms of prediction and fairness performance can be trained. Building on the problem setup of causal domain adaptation, we select a subset of features for training predictors with fairness constraints such that risk with respect to an unseen target data distribution is minimized. Advantages of the approach are demonstrated on synthetic datasets and on the task of diagnosing acute kidney injury in a real-world dataset under an instance of measurement policy shift and selection bias.

研究の動機と目的

• 機械学習モデルが実世界の展開において分布シフトに直面した際に、予測精度と公平性の両方を維持するという課題に対処すること。
• ドメイン適応技術を拡張し、予測性能だけでなく公平性を安定性の基準として組み込むこと。
• 未知のターゲットデータ分布におけるリスクを最小化するとともに、公平性制約を強制するフレームワークを開発すること。
• 予測と公平性の両方の指標で分布シフトにわたって安定した性能を発揮する特徴のサブセットを特定・選択すること。

提案手法

• ソース分布とターゲット分布の関係をモデル化するため、因果的ドメイン適応フレームワーク内で問題を定式化すること。
• ターゲット分布における予測リスクと公平性制約の両方を最適化するように、学習に用いる特徴のサブセットを選択すること。
• ターゲット分布における予測誤差と公平性違反の両方を考慮したリスク最小化の目的関数を用いること。
• モデルの性能が分布シフトにわたって安定するように、訓練プロセスに公平性制約を組み込むこと。
• 測定方針のシフトと選択バイアスが生じる合成データおよび実世界の急性腎障害診断データセットに本手法を適用すること。
• 因果的仮定を活用して、分布シフトに対して頑健でありながら公平性を保持する特徴を同定すること。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、分布シフト下でも高い予測精度と公平性を維持できるか？
• RQ2 予測性能を損なわせることなく、異なるデータ分布間で公平性を安定化させることは可能か？
• RQ3 分布シフト下で、正確性と公平性の両面で一般化性能が優れる予測子を訓練するのに最も効果的な特徴は何か？
• RQ4 本手法は、実世界のデータにおける測定方針のシフトと選択バイアスの下で、公平性の劣化をどの程度低減するか？

主な発見

• 提案手法は、合成データおよび実世界の設定の両方で、分布シフトにわたって予測と公平性の両面で安定した性能を達成しており、ベースライン手法を上回る。
• 公平性制約下での特徴選択は、特に測定方針のシフト下で、分布シフトに対する頑健性を著しく向上させる。
• 公平性に配慮した特徴選択を行わないモデルと比較して、本手法はターゲット分布における公平性の劣化を低減する。
• 急性腎障害データセットにおける実験結果から、選択バイアス下でも予測精度と公平性指標の両方で一般化性能が向上していることが示された。
• 本手法は、ドメイン適応において予測性能と同様に公平性を安定性の基準として維持できることを示している。
• ドメインシフトの因果的モデリングにより、分布変化下でも予測的でかつ公平な特徴を同定できることが明らかになった。