[論文レビュー] An Effective Meaningful Way to Evaluate Survival Models

Shi-ang Qi, Neeraj Kumar+6 more|arXiv (Cornell University)|Jun 1, 2023

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、右打ち切りデータを扱うために擬似観測値を用いるMAE-POという新しい評価指標を提案する。この手法は、従来のMAEの変種よりも順位付けの性能と真の平均絶対誤差（MAE）への近接性の両面で優れている。本手法はカプラン＝マイヤーの生存確率に基づいて擬似観測値を推定し、重み付き信頼性スキームを適用することで、多様な打ち切りメカニズムを有する半実験的データセットにおいて優れた精度を示している。

ABSTRACT

One straightforward metric to evaluate a survival prediction model is based on the Mean Absolute Error (MAE) -- the average of the absolute difference between the time predicted by the model and the true event time, over all subjects. Unfortunately, this is challenging because, in practice, the test set includes (right) censored individuals, meaning we do not know when a censored individual actually experienced the event. In this paper, we explore various metrics to estimate MAE for survival datasets that include (many) censored individuals. Moreover, we introduce a novel and effective approach for generating realistic semi-synthetic survival datasets to facilitate the evaluation of metrics. Our findings, based on the analysis of the semi-synthetic datasets, reveal that our proposed metric (MAE using pseudo-observations) is able to rank models accurately based on their performance, and often closely matches the true MAE -- in particular, is better than several alternative methods.

研究の動機と目的

• テストデータに右打ち切りの個体が含まれる場合、真のイベント時刻が不明であるという状況において、生存モデルを評価する課題に対処すること。
• 生存予測における打ち切り観測値を考慮した意味的かつ正確な平均絶対誤差（MAE）の指標を開発すること。
• 真のイベント時刻が分かっている半実験的生存データセットを生成し、評価指標のバイアスのない評価を可能にすること。
• 複数のMAEに類似した指標を比較し、モデル順位付けと誤差推定の両面で最も信頼性の高い推定器を同定すること。
• MAE-POおよび関連する指標の再現可能なコードベースを提供し、今後の研究を支援すること。

提案手法

• 右打ち切り被験者の寄与度をグループレベルのカプラン＝マイヤー推定量に推定するために、擬似観測値を用いるMAE-POという指標を提案する。
• 各擬似観測値の信頼性を表す重み付きスキームを適用し、打ち切りに対するロバストネスを向上させる。
• censored data からの点推定を可能にするため、擬似観測値のデセヌアリング技術（Andersen et al., 2003）を採用する。
• 現実のデータの構造を保ちつつ、実際の特徴および打ち切り分布をシミュレートすることで、半実験的生存データセットを生成する。
• これらの合成データセットにおける真のイベント時刻を用いて真のMAEを計算し、評価指標のベンチマークを可能にする。
• 複数のデータセットおよび打ち切りメカニズムにおいて、6つのMAE変種（MAE-uncensored, MAE-margin, MAE-PO, IPCW-D, IPCW-T, MAE-Pop-PO）を比較する。

実験結果

リサーチクエスチョン

• RQ1 打ち切りデータが存在する状況下で、異なるMAEに類似した指標は、生存モデルの順位付けにおいてどのように性能を発揮するか？
• RQ2 打ち切り観測値が存在する状況で、どの指標が真のMAEに最も近づくか？
• RQ3 擬似観測値に基づくアプローチ（MAE-PO）は、既存の代替手法よりもより正確かつ信頼性の高い評価を提供できるか？
• RQ4 異なる打ち切り分布（例：指数分布、特徴に依存しない、特徴に依存する）において、評価指標の性能はどのように変化するか？
• RQ5 提案された半実験的データセット生成手法は、生存モデル評価指標の妥当かつ再現可能な評価をどの程度可能にするか？

主な発見

• MAE-POは、すべてのデータセットおよび打ち切りメカニズムにおいて、モデルの順位付けを最も正確に実行しており、1回を除きすべてのケースで上位3つのモデルを正しく特定している。
• MAE-POは真のMAEに最も近い近接性を達成しており、METABRICおよびMIMIC-Aデータセットにおいて、代替手法と比較して有意に小さな誤差を示している（p < 0.05）。
• MAE-uncensoredは高打切り率下で著しく性能が低下するが、MAE-POは高打切り状況下でも強い性能を維持している。
• MAE-marginは一部の状況では良好な性能を示すが、MIMIC-Hでは上位モデルを正しく特定できず、一方MAE-POはGBM-Cを最良のモデルとして正しく特定している。
• MAE-IPCW-Dは、後方の非打切り被験者に敏感であるため、真のMAEへの近接性に高いばらつきを示し、信頼性が制限される。
• MAE-Pop-POは順位付けや誤差近似において優位性を示さず、MAE-marginおよびMAE-POよりも劣った性能を示している。