[論文レビュー] BigSurvSGD: Big Survival Data Analysis via Stochastic Gradient Descent

Aliasghar Tarkhan, Noah Simon|arXiv (Cornell University)|Feb 28, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用数 5

ひとこと要約

本稿では、大規模な生存データに対してコックス比例ハザードモデルをフィッティングするための新しい確率的勾配降下法フレームワーク、BigSurvSGDを提案する。部分尤度を分解可能な目的関数に再定式化することで、特に大規模またはストリーミングデータに対して、効率的で安定的かつスケーラブルな最適化を可能にするとともに、標準的なコックス回帰と統計的に同等であり、ニューラルネットワークを含む複雑なモデルのサポートも可能となる。

ABSTRACT

In many biomedical applications, outcome is measured as a ``time-to-event'' (eg. disease progression or death). To assess the connection between features of a patient and this outcome, it is common to assume a proportional hazards model, and fit a proportional hazards regression (or Cox regression). To fit this model, a log-concave objective function known as the ``partial likelihood'' is maximized. For moderate-sized datasets, an efficient Newton-Raphson algorithm that leverages the structure of the objective can be employed. However, in large datasets this approach has two issues: 1) The computational tricks that leverage structure can also lead to computational instability; 2) The objective does not naturally decouple: Thus, if the dataset does not fit in memory, the model can be very computationally expensive to fit. This additionally means that the objective is not directly amenable to stochastic gradient-based optimization methods. To overcome these issues, we propose a simple, new framing of proportional hazards regression: This results in an objective function that is amenable to stochastic gradient descent. We show that this simple modification allows us to efficiently fit survival models with very large datasets. This also facilitates training complex, eg. neural-network-based, models with survival data.

研究の動機と目的

• 大規模なバイオメディカルデータセットにおける従来のコックス比例ハザード回帰の計算的不安定性とメモリ制限を解消すること。
• 非分解構造に起因する標準部分尤度が確率的勾配最適化と互換性がない問題を克服すること。
• 時間発生データに対して、確率的最適化を用いて複雑なモデル（ニューラルネットワークを含む）を効率的に訓練できること。
• メモリに収まらないほど大きなデータセットに対しても、標準コックス回帰と統計的に同等の結果を維持できるフレームワークを提供すること。
• リアルタイムまたは大規模な生存分析アプリケーションに適したストリーミングおよび非ストリーミング両方の実装を可能にすること。

提案手法

• コックス部分尤度を観察値の部分集合にわたって分解可能な目的関数に再定式化し、確率的勾配降下法の利用を可能にする。
• U統計量に基づく定式化を用いて、一貫性があり微分可能でミニバッチ最適化に適した目的関数を導出する。
• 学習率スケジュール $ \gamma_m = C / \sqrt{m} $ を用いた、適応的確率的勾配法（例：AMSGrad）による最適化を実装する。
• 計算の効率化と分散の低減のため、サイズ $ S $ のストラタベースのサンプリングを導入する。
• 漸近的に有効な信頼区間を提供する2つの手法を提案：プラグイン法とノンパラメトリックブートストラップ法。
• 反復処理の平均化（AveAMSGrad）を導入し、実用的な収束性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 コックス比例ハザード回帰のための修正された目的関数を設計し、確率的勾配降下法に適した形にできるか？
• RQ2 提案手法がモデル仮定下で標準コックス回帰と統計的に同等の結果を維持できるか？
• RQ3 完全データ最適化が不可能な大規模データおよびストリーミング環境において、フレームワークが効果的にスケーリングできるか？
• RQ4 コックス回帰の標準的手法 coxph() と比較して、BigSurvSGD のコンcordanceインデックスおよび回帰係数推定値の性能はいかがなものか？
• RQ5 確率的最適化を用いて、ニューラルネットワークを含む複雑なモデルを生存分析に適用できるか？

主な発見

• FLCHAINデータセットにおいて、BigSurvSGDはcoxph()と同一のハザード比推定値を達成しており、95%信頼区間の幅の差がすべての共変量で0.01未満にとどまる。
• ストラタサイズ $ S=2 $ の場合、BigSurvSGDのコンcordanceインデックスは0.794に達し、coxph()（0.792）をわずかに上回り、最先端の手法と同等の性能を示した。
• VETERANおよびGBSGデータセットにおいて、BigSurvSGDはcoxph()と同等のコンcordanceインデックスを達成しており、より小さなストラタサイズを用いることで最大0.006の改善が見られた。
• 標準誤差推定のためのプラグイン法とブートストラップ法は、すべての共変量において非常に類似した結果を示し、95%信頼区間の差が0.01未満にとどまった。
• ストラタサイズの減少に伴い、BigSurvSGDは効果的にスケーリングされ、より小さな $ S $ が時間発生データにおける対比較の一致度をよりよく捉えることでコンcordanceが向上することが示された。
• BigSurvSGDは、目的関数を確率的最適化に適した形にすることで、ニューラルネットワークベースの生存モデルの学習を可能にした。これは、標準的なコックス回帰には欠けている機能である。