[論文レビュー] Diagnosing failures of fairness transfer across distribution shift in real-world medical settings

Jessica Schrouff, Natalie Harris+15 more|arXiv (Cornell University)|Feb 2, 2022

Explainable Artificial Intelligence (XAI)被引用数 32

ひとこと要約

本論文は、共同因果フレームワーク内の条件付き独立性テストを導入し、分布シフトが医療における公正性の移転に与える影響を診断し、皮膚科データと電子カルテデータでこれを実証して緩和戦略の指針を提供する。

ABSTRACT

Diagnosing and mitigating changes in model fairness under distribution shift is an important component of the safe deployment of machine learning in healthcare settings. Importantly, the success of any mitigation strategy strongly depends on the structure of the shift. Despite this, there has been little discussion of how to empirically assess the structure of a distribution shift that one is encountering in practice. In this work, we adopt a causal framing to motivate conditional independence tests as a key tool for characterizing distribution shifts. Using our approach in two medical applications, we show that this knowledge can help diagnose failures of fairness transfer, including cases where real-world shifts are more complex than is often assumed in the literature. Based on these results, we discuss potential remedies at each step of the machine learning pipeline.

研究の動機と目的

• 分布シフトが医療MLシステムの公正性移転へ与える影響を動機づけ、定量化する。
• ソースからターゲットデータセットへのシフト構造を診断する実用的な因果テストツールキットを提供する。
• 現実の医療タスクにおいて、シフト構造が公正性緩和戦略の有効性に与える影響を示す。

提案手法

• ソースとターゲット環境をモデル化するために、シフト変数 S を用いたジョイント因果推論 (JCI) フレームワークを採用する。
• 適用を因果ベイズネットワークとして表現し、A, X, Y に対する S の直接効果を検定して、S→A、S→X、S→Y のシフト矢を同定する。
• 因果親変数を制御するためのバランス重み付き条件付き独立性検定手法を用い、{A,X,Y} の各変数 U に対する S→U を評価する。
• 再重みづけ平均を計算し、ブートストラップに基づく t 検定を実施して p 値を得るためのアルゴリズム手順（Algorithm 1）を提供する：H0: P(U|pa(U),S=0)=P(U|pa(U),S=1)。
• 皮膚科および EHR のケーススタディを通じて手法の妥当性を検証し、複合的なシフトを診断して緩和策の選択を導く。

実験結果

リサーチクエスチョン

• RQ1 医療分野の ML モデルにおいて、ソースとターゲット環境間の分布シフトの構造は、公正性移転にどのような影響を及ぼすか。
• RQ2 因果グラフ内の条件付き独立性検定は、シフト S によって影響を受ける成分（A, X, Y）を特定できるか。
• RQ3 実世界の医療データで経験的に観察されるシフト構造を前提に、どの緩和戦略が適切か。
• RQ4 実世界のシフトは単純（例：共変量シフトのみ）ですか、それとも複合的で複数の変数に影響を及ぶシフトですか。
• RQ5 シフト構造の洞察は、公正性後処理やその他の緩和手法の有効性にどのように影響するか。

主な発見

• 実世界の医療データにおけるシフトはしばしば複合的であり、敏感属性、共変量、ラベルに同時に影響を及ぼす。
• 皮膚科では、年齢などの属性が直接シフト(S→A)を示し、ラベル(S→Y)および画像特徴(S→X)への直接シフトも観察され、公正性移転の失敗を説明している。
• EHR 研究では、ICU ユニットタイプのシフト(S)が年齢、性、併存疾患、治療、検査値に及ぶ変化を誘発し、複合的シフトが公正性移転を損なうことを示した。
• ソースデータに対して人口統計的等質性や等化オッズを強制する後処理は、そこでの公正性指標を改善できるが、複合シフトの場合にはターゲットでの公正性を悪化させる可能性がある。
• 特定されたシフト構造に基づく緩和策は、複合的またはラベルシフト下で限定的な保証しか提供せず、ML パイプライン全体にわたるより広範な対策が必要であることを示している。
• 著者らは、データ収集、アウトカム定義、デプロイ時の安全策について、シフト下での公正性をより適切に扱うための実践的な提言を論じている。