[論文レビュー] Effective Ways to Build and Evaluate Individual Survival Distributions

Humza Haider, Bret Hoehn+2 more|arXiv (Cornell University)|Nov 28, 2018

Liver Disease Diagnosis and Treatment参考文献 41被引用数 25

ひとこと要約

本稿では、リスクスコアや単一時刻確率モデル、集団レベルのカプラン＝マイヤー曲線といった従来手法の限界を克服し、すべての時刻で患者別生存確率を提供する個別生存分布（ISD）モデルを提案する。D-Calibrationを導入し、複数の指標を用いてISDモデルを評価した結果、マルチタスクロジスティック回帰（MTLR）が多様な生存データセットにおいて、キャリブレーション、ブライアースコア、コンcordanceの観点で一貫して他の手法を上回った。

ABSTRACT

An accurate model of a patient's individual survival distribution can help determine the appropriate treatment for terminal patients. Unfortunately, risk scores (e.g., from Cox Proportional Hazard models) do not provide survival probabilities, single-time probability models (e.g., the Gail model, predicting 5 year probability) only provide for a single time point, and standard Kaplan-Meier survival curves provide only population averages for a large class of patients meaning they are not specific to individual patients. This motivates an alternative class of tools that can learn a model which provides an individual survival distribution which gives survival probabilities across all times - such as extensions to the Cox model, Accelerated Failure Time, an extension to Random Survival Forests, and Multi-Task Logistic Regression. This paper first motivates such "individual survival distribution" (ISD) models, and explains how they differ from standard models. It then discusses ways to evaluate such models - namely Concordance, 1-Calibration, Brier score, and various versions of L1-loss - and then motivates and defines a novel approach "D-Calibration", which determines whether a model's probability estimates are meaningful. We also discuss how these measures differ, and use them to evaluate several ISD prediction tools, over a range of survival datasets.

研究の動機と目的

• 臨床意思決定における、すべての時刻で正確で個別化された生存確率推定値の不足を解消すること。
• 生存確率推定値の意味の有無を評価するための、特にD-Calibrationを含む評価指標の開発と評価を行うこと。
• 複数の評価基準を用いて、多様な生存データセットにおけるISDモデル（例：Cox-KP、AFT、RSF-KM、MTLR）の性能を比較すること。
• ISDモデルが単一時刻モデルやリスクスコアモデルよりも臨床的により関連性があり一貫性のある予測を提供することを示すこと。
• 予後予測の正確性を向上させるために、特にMTLRを含むISDモデルの臨床的・研究的現場における導入を提唱すること。

提案手法

• すべての将来時刻 t ≥ 0 において、各患者 x に対して S(t|x) を推定する個別生存分布（ISD）モデルを提案する。
• 予測された生存確率が時刻を経て観測された結果と整合しているかどうかを評価する、新たな指標であるD-Calibrationを導入する。
• 標準的な評価指標（区別性：コンcordance、1-キャリブレーション、ブライアースコア、L1損失）を用いてモデルを評価する。
• 複数の実世界の生存データセットに、Cox-KP、Cox-EN-KP、AFT、RSF-KM、MTLR の5つのISDモデルを適用し、比較する。
• 時間依存キャリブレーションと統合ブライアースコアを用いて、時間経過に伴う確率的精度を評価する。
• 生存予測を、患者固有の共変量を活用した右打ち切りを伴う回帰タスクとして扱うフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、各患者に対して正確で時刻に特化した生存確率を提供する個別生存分布を効果的に構築できるか？
• RQ2 ISDモデルの信頼性とキャリブレーションを評価するのに最も適切な評価指標は何か？
• RQ3 ISDモデルは、従来のリスクスコアや単一時刻確率モデルと比較して、予測精度と臨床的有用性の点でどのように異なるか？
• RQ4 提案されたD-Calibration指標は、意味のある確率推定値を持つモデルを効果的に特定できるか？
• RQ5 キャリブレーション、コンcordance、ブライアースコアといった複数の評価基準において、どのISDモデルが最も優れているか？

主な発見

• MTLRは、多様な生存データセットにおいて、L1損失、統合ブライアースコア、コンcordanceの観点で、他のISDモデルを一貫して上回った。
• MTLRは、キャリブレーション指標においても、他のすべてのモデルと同等またはそれを上回り、予測された確率が観測された生存結果と最も整合していることを示した。
• 単一時刻確率モデル（例：5年生存確率）を用いると、時刻が変わると患者間の順位が逆転する可能性があり、臨床的判断が一貫性を欠くことがある。
• D-Calibrationは、時刻を経て予測された生存確率が意味があり、適切にキャリブレーションされているモデルを効果的に特定できた。
• ISDモデルは、リスクスコアや単一時刻モデルよりも臨床的により関連性のある情報を提供する。これは、任意の時刻での意思決定を可能にし、個別化された生存曲線の可視化を可能にするためである。
• 本研究では、特にMTLRを含むISDモデルが、意思決定を支援する信頼性の高い患者固有の生存予測を生成するのに優れていることを示した。