[論文レビュー] Scalable Sparse Cox's Regression for Large-Scale Survival Data via Broken Adaptive Ridge

Eric S. Kawaguchi, Marc A. Suchard+2 more|arXiv (Cornell University)|Dec 2, 2017

Statistical Methods and Inference参考文献 61被引用数 7

ひとこと要約

本稿では、反復重み付きリッジ回帰を用いて$L_0$-正則化回帰を近似することで、大規模な生存データに対してスケーラブルなスパースコックス回帰手法CoxBARを提案する。選択の一貫性、オラクル性、計算効率性を達成し、チューニングパラメータの選定にかかるコストを回避することで、競合手法と比較して最大5倍の高速化を実現する。

ABSTRACT

This paper develops a new scalable sparse Cox regression tool for sparse high-dimensional massive sample size (sHDMSS) survival data. The method is a local $L_0$-penalized Cox regression via repeatedly performing reweighted $L_2$-penalized Cox regression. We show that the resulting estimator enjoys the best of $L_0$- and $L_2$-penalized Cox regressions while overcoming their limitations. Specifically, the estimator is selection consistent, oracle for parameter estimation, and possesses a grouping property for highly correlated covariates. Simulation results suggest that when the sample size is large, the proposed method with pre-specified tuning parameters has a comparable or better performance than some popular penalized regression methods. More importantly, because the method naturally enables adaptation of efficient algorithms for massive $L_2$-penalized optimization and does not require costly data driven tuning parameter selection, it has a significant computational advantage for sHDMSS data, offering an average of 5-fold speedup over its closest competitor in empirical studies.

研究の動機と目的

• スパースで高次元かつ大規模サンプルサイズ（sHDMSS）の生存データにおいて、従来の正則化コックス回帰手法の計算不能性に対処する。
• $L_1$（LASSO）と$L_2$（リッジ）正則化の限界——推定のバイアスとスパarsityの欠如——を克服し、$L_0$-正則化回帰を近似する。
• sHDMSS設定下で、選択的一貫性、オラクル効率性、および相関する予測変数に対してグループスパース性を有する手法を開発する。
• 数百億件の記録を含む実世界のデータセット（例：National Trauma Databank や薬物安全性データベース）へのスパース生存モデリングの実用的応用を可能にする。

提案手法

• CoxBARは、初期のコックスリッジ推定器から出発し、反復重み付き$L_2$-正則化コックス回帰を用いて$L_0$-正則化回帰を近似する。
• 各反復で、現在のリッジ推定値の大きさに基づいて重みを更新し、小さな係数は0に近づけ、大きな係数は保持する。
• この手法は$L_2$-正則化最適化の効率的アルゴリズムを活用しており、$n$が数億、$p_n$が数万にまでスケーラブルである。
• データ駆動のチューニングパラメータ選定を回避し、事前に指定されたチューニングパラメータを用いることで、計算オーバーヘッドを大幅に削減する。
• 最終推定器は選択的一貫性を示し、非ゼロ係数に対してオラクルリッジ推定器と同様の挙動を示す。また、高相関のある予測変数に対してグループ化の性質を有する。
• この手法は、リッジ回帰の安定性を自然に継承するとともに、$L_0$-正則化に類似したスパarsityを達成する。

実験結果

リサーチクエスチョン

• RQ1 高次元生存分析において、$L_0$-正則化のスパarsityと$L_2$-正則化の安定性・効率性を併せ持つスケーラブルな手法を開発できるか？
• RQ2 反復重み付き$L_2$回帰は、変数選択と推定精度の観点から、$L_0$-正則化コックス回帰を効果的に近似できるか？
• RQ3 sHDMSSデータにおいて、統計的性能を損なうことなく、従来の正則化回帰手法よりも顕著な計算高速化を達成できるか？
• RQ4 大規模な生存データセットにおいて、選択的一貫性、誤検出・見逃しの制御、およびモデル選択の正確性の観点で、本手法はどのように性能を発揮するか？

主な発見

• CoxBARは非ゼロ係数に対して選択的一貫性と漸近正規性を達成し、高相関のある予測変数に対してグループ化の性質を有する。
• $n=300$, $p_n=2500$および$p_n=5000$のシミュレーションにおいて、SJS-$L_0$-CoxBARは最小のBICスコア（1227.182）を達成し、BLCAデータセットで20個の遺伝子のみを選択し、LASSOやSCADを上回った。
• 実験的分析では、同手法が最も近い競合手法と比較して平均5倍の高速化を達成した。これは、コストの高いチューニングパラメータ最適化を回避したためである。
• SJS-BIC-CoxBARとSJS-cBIC-CoxBARは、データ駆動の手法（20〜36個）と比較して、より少ない変数（それぞれ5個と7個）を選択したが、競争力のあるBICスコアを維持した。
• $n=300$, $p_n=2500$の条件下で、SJS-BIC-CoxBARは真のモデル確率（TM）が100%、最初の真の予測変数を正しく同定する確率（$P_1$）が92%に達し、誤検出（0.81）と見逃し（0.12）の率も低かった。
• 複数のシミュレーション設定において、AICとBICスコアの両方でLASSO、SCAD、ALASSOを上回った。特に$n=300$, $p_n=2500$のケースで、SJS-$L_0$-CoxBARはAIC（1906.83）とBIC（2017.24）の両方で最高のスコアを記録した。