[論文レビュー] Survival Regression with Proper Scoring Rules and Monotonic Neural Networks

David Rindt, Robert Hu+2 more|arXiv (Cornell University)|Mar 26, 2021

Statistical Methods and Inference被引用数 6

ひとこと要約

この論文は、時間に依存するニューラルネットワーク重みの単調性を強制することで、右打ち切りログ尤度（適切なスコアルール）を直接最適化する新しい生存回帰モデル、SuMo-netを紹介する。この手法は、既存のニューラル生存モデルと比較して20–100倍高速な推論を達成し、大規模データセットにおけるスケーラブルでキャリブレーションのとれた生存モデリングを可能にする。

ABSTRACT

We consider frequently used scoring rules for right-censored survival regression models such as time-dependent concordance, survival-CRPS, integrated Brier score and integrated binomial log-likelihood, and prove that neither of them is a proper scoring rule. This means that the true survival distribution may be scored worse than incorrect distributions, leading to inaccurate estimation. We prove that, in contrast to these scores, the right-censored log-likelihood is a proper scoring rule, i.e., the highest expected score is achieved by the true distribution. Despite this, modern feed-forward neural-network-based survival regression models are unable to train and validate directly on the right-censored log-likelihood, due to its intractability, and resort to the aforementioned alternatives, i.e., non-proper scoring rules. We therefore propose a simple novel survival regression method capable of directly optimizing log-likelihood using a monotonic restriction on the time-dependent weights, coined SurvivalMonotonic-net (SuMo-net). SuMo-net achieves state-of-the-art log-likelihood scores across several datasets with 20--100$ imes$ computational speedup on inference over existing state-of-the-art neural methods, and is readily applicable to datasets with several million observations.

研究の動機と目的

• 右打ち切り生存回帰に一般的に使われるスコアルールに内在する欠陥を特定・是正すること。これらのスコアルールは適切ではなく、真の分布よりも誤った分布を好む可能性がある。
• 右打ち切りログ尤度が適切なスコアルールであることを理論的に証明し、真の分布が最高の期待スコアを達成することを保証すること。
• 右打ち切りログ尤度を直接最適化できる、スケーラブルで柔軟かつ効率的なニューラルネットワークモデルを開発すること。これにより、従来の手法における扱いにくさの問題を克服する。
• 適切なスコアルールに基づいて学習されたモデルが、医療や金融など安全性が求められる分野において特に重要である、よりキャリブレーションのとれた生存予測を提供することを示すこと。
• 扱いやすい尤度に基づく生存モデルのトレーニングに一般化可能なフレームワークを提供し、分野を越えてモデルの比較と評価を容易にすること。

提案手法

• 時間に依存する重みが単調非減少であることを制約する単調なニューラルネットワークアーキテクチャを提案。これにより、累積分布関数が有効となり、尤度が取り扱いやすくなる。
• 予測された生存関数がネットワーク出力の単調変換から導かれるように生存モデルを構築。これにより、尤度評価に必要な数学的性質が保持される。
• 右打ち切りログ尤度を直接学習対象とし、これは適切なスコアルールであることが証明済みである。これにより、 concordance や Brier スコアといった代理目的関数を避ける。
• テスト時に生存確率を計算する際、1回の順伝播で完了する。これにより、ハザード関数の数値的積分を必要とするモデルと比較して、桁違いの高速な推論が可能になる。
• 単調な ReLU ベースの層を用いた生存関数の微分可能近似を実装。これにより、標準的なバックプロパゲーションを用いたエンドツーエンド学習が可能になる。
• 標準的なディープラーニングフレームワークと統合し、今後の拡張において、テーブルデータ、ゲノムデータ、画像データなどの高次元入力を扱えるようにする。

実験結果

リサーチクエスチョン

• RQ1 時間に依存する concordance、統合 Brier スコア、生存-CRPS といった一般的に使われるスコアルールは、右打ち切り生存回帰において適切なスコアルールであるか？
• RQ2 右打ち切りログ尤度は、真の生存分布が最高の期待スコアを達成するという意味で適切なスコアルールであるか？
• RQ3 右打ち切りログ尤度を直接最適化可能にする、モデルの柔軟性を維持したニューラルネットワークアーキテクチャを設計できるか？
• RQ4 このようなモデルは、ログ尤度性能で最先端の結果を達成するとともに、既存の手法と比較して推論速度で顕著な優位性を示せるか？
• RQ5 適切なスコアルールに基づく直接最適化は、非適切な代理スコアに基づくモデルと比較して、よりキャリブレーションのとれた生存予測を提供するか？

主な発見

• 時間に依存する concordance、統合 Brier スコア、二項ログ尤度、生存-CRPS は、誤った分布に対して真の分布よりも高いスコアを割り当てる可能性があるため、適切なスコアルールではない。
• 右打ち切りログ尤度は、真の生存分布が期待スコアを最大にするという意味で適切なスコアルールであることが理論的に証明された。
• SuMo-net は、FLCHAIN、GBSG、KKBOX、METABRIC、SUPPORT といった複数のベンチマークデータセットで、ログ尤度性能において最先端のスコアを達成した。
• SuMo-net は、SODEN や Cox-Time と比較して推論時間を 20–100 倍高速化した。METABRIC では 0.016 秒、SUPPORT では 0.047 秒という推論時間であった。
• SuMo-net は、METABRIC では 0.097、KKBOX では 0.112 の低さのキャリブレーション誤差を示し、Weibull や log-normal といったパラメトリックモデルを上回るキャリブレーション性能を発揮した。
• モデルの性能は多様なデータタイプにわたり安定しており、数百万件の観測を含むデータセットにもスケーリング可能である。実世界の応用における実用性が実証された。