[論文レビュー] Fairness Transferability Subject to Bounded Distribution Shift

Yatong Chen, Reilly Raab+2 more|arXiv (Cornell University)|May 31, 2022

Health, Environment, Cognitive Aging被引用数 4

ひとこと要約

本稿では、特定のシフトメカニズムや公平性定義を仮定せずに、分布シフトが限定的である条件下で機械学習予測モデルにおける統計的グループ公平性の転送可能性を制限する一般枠組みを提案する。分布間の公平性違反の普遍的上界を導出し、実世界のデータおよび決定論的シフトモデルを用いて実証的に検証することで、社会的に重要な応用分野における潜在的に不公平な展開の早期検出を可能にする。

ABSTRACT

Given an algorithmic predictor that is "fair" on some source distribution, will it still be fair on an unknown target distribution that differs from the source within some bound? In this paper, we study the transferability of statistical group fairness for machine learning predictors (i.e., classifiers or regressors) subject to bounded distribution shifts. Such shifts may be introduced by initial training data uncertainties, user adaptation to a deployed predictor, dynamic environments, or the use of pre-trained models in new settings. Herein, we develop a bound that characterizes such transferability, flagging potentially inappropriate deployments of machine learning for socially consequential tasks. We first develop a framework for bounding violations of statistical fairness subject to distribution shift, formulating a generic upper bound for transferred fairness violations as our primary result. We then develop bounds for specific worked examples, focusing on two commonly used fairness definitions (i.e., demographic parity and equalized odds) and two classes of distribution shift (i.e., covariate shift and label shift). Finally, we compare our theoretical bounds to deterministic models of distribution shift and against real-world data, finding that we are able to estimate fairness violation bounds in practice, even when simplifying assumptions are only approximately satisfied.

研究の動機と目的

• 訓練データとは異なるターゲット分布に機械学習予測モデルを展開する際の公平性の頑健性を保証するという重要なギャップを埋めること。
• 統計的グループ公平性で定義される公平性保証が、限定的分布シフトによってどの程度劣化するかを定量化すること。
• さまざまな公平性定義（例：デモグラフィックパリティ、イコライズドオッズ）およびシフトタイプ（例：共変量シフト、ラベルシフト）に一般化可能で、アーギルな上界を構築すること。
• シフトメカニズムが未知または複雑であっても、展開前の公平性の頑健性を認証可能にする。
• 精度に焦点を当てたドメイン適応と、静的分布を仮定する一般的なアルゴリズム公平性の分野を統合し、不確実性下での公平性転送可能性に注目すること。

提案手法

• 既知の制約内でのシフトを敵対的とみなして、可能なターゲット分布の有界なドメインを用いて、公平性違反の転送可能性に対する一般的上界を定式化する。
• 共変量シフトとラベルシフトの2つのシフトタイプに対して、デモグラフィックパリティ（DP）とイコライズドオッズ（EO）という2つの一般的な公平性定義に上界を適用する。
• 戦略的反応およびラベルリプロダクタードライヴスの下で、分散および確率シフト項を用いてDPの具体的な解析的上界を導出する。
• ベクトル空間における幾何的および内積に基づく分析を用いて、共変量シフト下での真正陽性率を角度に基づくコサイン関係で制限する。
• H-発散および条件付き確率不変性を用いて、分布間での公平性指標の変化に対する上界を導出する。
• 理論的上界を、分布シフトの決定論的モデルおよび米国国勢調査データ（2014–2018年）におけるデモグラフィックおよび収入シフトの両方で検証する。

実験結果

リサーチクエスチョン

• RQ1 訓練データのソース分布から学習した予測モデルを、分布シフトが限定的であるターゲット分布に適用する際、統計的グループ公平性の劣化を制限することは可能か？
• RQ2 共変量シフトやラベルシフトなどの異なるタイプの分布シフト下で、公平性の転送可能性はどのように変化するか？
• RQ3 下位のシフトメカニズムやグループ固有のシフトパラメータの知識を仮定せずに、公平性違反をどの程度まで定量化できるか？
• RQ4 戦略的行動（例：人々が政策に応じて特徴を変更する）の下で、公平性の上界はどのように振る舞うか？
• RQ5 既知の分布シフトを伴う実世界データにおいて、理論的公平性上界を実用的に推定・検証することは可能か？

主な発見

• 提案された上界は、単純化仮定がわずかに満たされていない場合でも、分布間での公平性違反の転送可能性を効果的に定量化できた。
• 戦略的反応下のデモグラフィックパリティでは、公平性違反の上界がグループ固有の分散項と特徴シフトの大きさに比例し、τg(1−τg)およびM_gを含む解析的上界が導出された。
• ラベルリプロダクタードライヴスの下では、公平性違反の上界はグループ構成比の絶対的変化量と予測確率比に依存し、実世界のシフトに対して実用的な推定値を提供した。
• 共変量シフトのケースでは、基準ベクトル間の最小および最大角度によって決定される極値を用いて、真正陽性率が角度に基づくコサイン関係で制限された。
• 米国国勢調査データ（2014–2018年）を用いた実証的評価では、精度の低下と併せて公平性違反が増加しており、モデルの実世界の分布シフトに対する予測能力を裏付けた。
• このフレームワークにより、公平性違反の上界が許容可能な閾値を超えると、展開前の段階で潜在的に不公平な政策適用を特定可能とした。