[論文レビュー] Counterfactual Reasoning for Fair Clinical Risk Prediction

Stephen Pfohl, Tony Duan+2 more|arXiv (Cornell University)|Jul 14, 2019

Machine Learning in Healthcare参考文献 47被引用数 10

ひとこと要約

本稿では、感受性属性が変更された反事後的バージョンの患者とその患者に対して一貫した予測を要求することで、グループの公平性を個人レベルに拡張する、個人等価反事後的オッズという新しい公平性基準を提案する。EHRデータから変分自己オートエンコーダ（VAE）を用いて反事後的患者を生成することで、入院死亡および長期入院のリスク予測において公平性を実現可能となるが、特に死亡予測においては公平性と予測性能のトレードオフが観察される。

ABSTRACT

The use of machine learning systems to support decision making in healthcare raises questions as to what extent these systems may introduce or exacerbate disparities in care for historically underrepresented and mistreated groups, due to biases implicitly embedded in observational data in electronic health records. To address this problem in the context of clinical risk prediction models, we develop an augmented counterfactual fairness criteria to extend the group fairness criteria of equalized odds to an individual level. We do so by requiring that the same prediction be made for a patient, and a counterfactual patient resulting from changing a sensitive attribute, if the factual and counterfactual outcomes do not differ. We investigate the extent to which the augmented counterfactual fairness criteria may be applied to develop fair models for prolonged inpatient length of stay and mortality with observational electronic health records data. As the fairness criteria is ill-defined without knowledge of the data generating process, we use a variational autoencoder to perform counterfactual inference in the context of an assumed causal graph. While our technique provides a means to trade off maintenance of fairness with reduction in predictive performance in the context of a learned generative model, further work is needed to assess the generality of this approach.

研究の動機と目的

• バイアスのかかっている観察的EHRデータに基づいて学習された臨床リスク予測モデルにおける個人レベルの公平性を解決すること。
• 等価オッズのようなグループ公平性指標を、反事後的推論を用いて個人レベルに拡張すること。
• 既知の構造的因果モデルを必要としない、臨床機械学習モデルにおける公平性の評価と向上のための実用的フレームワークを開発すること。
• 現実のEHRデータセットにおける公平性と予測性能のトレードオフを評価すること。
• 変分自己オートエンコーダ（VAE）を用いた反事後的推論の可能性と限界を、公平性に配慮した臨床モデリングの文脈で探ること。

提案手法

• 感受性属性が変更された反事後的患者とその事実の患者に対して同じ予測を要求するという、個人等価反事後的オッズを、公平性基準を拡張した新たな基準として提案する。ただし、結果が変わらないものと仮定する。
• 因果グラフの仮定の下で、変分自己オートエンコーダ（VAE）を用いて反事後的患者表現を生成することで、完全に指定された構造方程式モデルがなくても反事後的推論が可能になる。
• 2つの臨床的タスク（入院死亡および長期入院予測）に対して、実EHRデータにVAEベースの反事後的サンプリングを適用する。
• 予測性能と個人等価反事後的オッズ基準の満たし方の両方を最適化する訓練手順を採用する。
• VAEの潜在空間を用いて妥当な反事後的患者を生成するが、これはモデルがデータ生成プロセスを十分に捉えていると仮定する。
• 感度分析とシミュレーションスタディを用いて、モデルの不確実性下での公平性主張の未来の検証の基盤を築く。

実験結果

リサーチクエスチョン

• RQ1 反事後的推論を用いて、臨床リスク予測モデルにおける個人レベルの公平性を定義できるか？
• RQ2 真のデータ生成プロセスが不明な状況で、どのようにして個人レベルの公平性を実現できるか？
• RQ3 EHRデータに反事後的公平性基準を適用した際、予測性能と公平性の間にはどのようなトレードオフが存在するか？
• RQ4 既知の構造的因果モデルが存在しない状況で、変分自己オートエンコーダ（VAE）が反事後的患者を信頼性高く生成できるか、その限界は何か？
• RQ5 死亡予測と入院期間延長予測といった異なる臨床的タスクにおいて、公平性と性能のトレードオフはどのように異なるか？

主な発見

• 提案手法は、VAEから抽出された反事後的患者を用いて、個人等価反事後的オッズという観点から公平な臨床リスク予測モデルを効果的に生成した。
• 特に入院死亡予測において顕著な、公平性と予測性能のトレードオフが観察された。公平性制約が導入されると、モデルの性能が著しく低下した。
• VAEベースのアプローチにより、構造方程式モデルが不明な状況でも反事後的推論が可能となったが、公平性は生成モデルの文脈内でのみ明確に定義される。
• 本手法は、特に長期入院予測において、妥当な予測精度を維持しつつも、個人レベルでの公平性を向上させられることを示した。
• 本手法はVAEの生成モデリングの品質に敏感である。VAEが真のデータ生成プロセスを正確に反映できていない場合、公平性の主張は現実には成り立たない可能性がある。
• モデルの不確実性下での公平性の検証および耐性のための感度分析のさらなる研究が今後必要である。