[論文レビュー] When accurate prediction models yield harmful self-fulfilling prophecies

Wouter A. C. van Amsterdam, Nan van Geloven+3 more|arXiv (Cornell University)|Dec 2, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文は、予測精度が高く、導入後も良好な区別力とキャリブレーションを維持している医療予測モデルであっても、臨床意思決定を支援するために使用された場合、有害な自己実現的予言を生じる可能性があることを示している。著者らは、こうしたモデルが既存のバイアスを強化することで、特定の患者サブグループに対して体系的な被害をもたらす条件を形式的に定式化し、予測精度だけでは、臨床意思決定支援システムにおける安全な導入には不十分であることを示している。

ABSTRACT

Prediction models are popular in medical research and practice. By predicting an outcome of interest for specific patients, these models may help inform difficult treatment decisions, and are often hailed as the poster children for personalized, data-driven healthcare. We show however, that using prediction models for decision making can lead to harmful decisions, even when the predictions exhibit good discrimination after deployment. These models are harmful self-fulfilling prophecies: their deployment harms a group of patients but the worse outcome of these patients does not invalidate the predictive power of the model. Our main result is a formal characterization of a set of such prediction models. Next we show that models that are well calibrated before and after deployment are useless for decision making as they made no change in the data distribution. These results point to the need to revise standard practices for validation, deployment and evaluation of prediction models that are used in medical decisions.

研究の動機と目的

• 予測モデルの妥当性評価において、予測精度が臨床意思決定支援における安全な導入に十分であるかどうかを調査すること。
• 高精度な予測モデルが、医療意思決定において有害な自己実現的予言を引き起こす条件を同定すること。
• モデルの導入が、モデルの性能を維持するが特定のサブグループのケアを悪化させる形で患者の結果を変化させるメカニズムを形式化すること。
• 医学分野におけるモデルの妥当性評価と導入にあたって、区別力とキャリブレーションにのみ依存する標準的手法に疑問を呈すること。

提案手法

• 著者らは、潜在的アウトカムと干渉分布を用いて、予測モデル、治療方針、患者のアウトカムの間の相互作用をモデル化する因果フレームワークを構築した。
• 自己実現的予言を、モデルの導入によって特定のサブグループの結果が悪化するが、導入後もモデルの予測性能が良好に保たれる状況として定義した。
• 導入前後におけるモデルのキャリブレーションに関する明確な条件を提示し、両分布で良好にキャリブレートされたモデルが意思決定に無効であることを示した。
• 主要な方程式を用いて、導入前と導入後のアウトカム期待値の差を特徴づけ、モデル駆動の政策が何時、どのように害をもたらすかを同定した。
• 二値の共変量設定を用いて、導入後も強い区別力を持つにもかかわらず、有害な結果をもたらす非自明なモデルのサブセットが存在することを示した。
• 害が生じるのは、治療方針が予測に基づいて変化し、アウトカムが予測と整合する形にシフトする場合であると同定した。

Figure 1: Some outcome prediction models yield harmful self-fulfilling prophecies when used to guide treatment decisions, meaning the new policy harms a subgroup of patients but the prediction model has good discrimination post-deployment.

実験結果

リサーチクエスチョン

• RQ1 高精度な予測モデルを導入した場合、導入後も良好な予測性能を維持しているにもかかわらず、特定の患者サブグループの結果が悪化する条件は何か？
• RQ2 高精度なモデルに基づく有害な方針が、区別力やキャリブレーションといった標準的評価指標ではなぜ検出されないのか？
• RQ3 予測モデルが導入前と導入後の両方で良好にキャリブレートされているとはどのような状況か？その臨床的意思決定への影響は何か？
• RQ4 妥当性検証では正確であるが、実世界の臨床的導入では、依然として既存の医療格差を強化または拡大する可能性があるのはなぜか？
• RQ5 実世界の臨床的導入において、正確かつ非有害な予測モデルを実現するには、どのような条件を満たす必要があるか？

主な発見

• 高精度な予測モデルの非自明なサブセットは、導入後も強い区別力を維持しているにもかかわらず、臨床現場で有害な自己実現的予言を生じる。
• 導入前と導入後の両方で良好にキャリブレートされたモデルは、意思決定に無効である。なぜなら、新しい方針下でのデータ分布の変化がないことを示しているからである。
• 治療方針が予測に基づいて変化し、アウトカムが予測と一致する形にシフトする場合に、害が生じる。その際、モデルの正確性は保たれている。
• 導入前と導入後のアウトカム期待値の差は、治療方針のシフトと、治療と非治療の下でのアウトカム差の相互作用によって決定される。
• 治療方針が変わらない、またはサブグループ間で治療下と非治療下のアウトカム確率が等しい場合に限り、モデルは導入分布でキャリブレートされる。
• 本論文は、予測精度だけでは安全な導入を保証できないことを示しており、モデルが正確であっても、医療格差を強化または悪化させる可能性がある。