[論文レビュー] Deep Learning for Quantile Regression under Right Censoring: DeepQuantreg

Yichen Jia, Jong‐Hyeon Jeong|arXiv (Cornell University)|Jul 14, 2020

Statistical Methods and Inference被引用数 5

ひとこと要約

本論文は、右側打ち切り生存データにおける分位数回帰のための深層学習フレームワーク、DeepQuantregを提案する。この手法は、打ち切りを補正するための逆確率重み付け（IPCW）を組み込んだHuberチェック関数を用いる。従来の線形および非パラメトリック分位数回帰と比較して、非線形の生存パターンを予測する際、シミュレーションおよび遺伝子サブタイピングを有する実際の乳がんデータセットにおいて、複数の分位数で優れた精度と安定性を示した。

ABSTRACT

The computational prediction algorithm of neural network, or deep learning, has drawn much attention recently in statistics as well as in image recognition and natural language processing. Particularly in statistical application for censored survival data, the loss function used for optimization has been mainly based on the partial likelihood from Cox's model and its variations to utilize existing neural network library such as Keras, which was built upon the open source library of TensorFlow. This paper presents a novel application of the neural network to the quantile regression for survival data with right censoring, which is adjusted by the inverse of the estimated censoring distribution in the check function. The main purpose of this work is to show that the deep learning method could be flexible enough to predict nonlinear patterns more accurately compared to existing quantile regression methods such as traditional linear quantile regression and nonparametric quantile regression with total variation regularization, emphasizing practicality of the method for censored survival data. Simulation studies were performed to generate nonlinear censored survival data and compare the deep learning method with existing quantile regression methods in terms of prediction accuracy. The proposed method is illustrated with two publicly available breast cancer data sets with gene signatures. The method has been built into a package and is freely available at \url{https://github.com/yicjia/DeepQuantreg}.

研究の動機と目的

• 右側打ち切り生存データの下で、従来の手法が非線形関係に対処に苦慮する状況において、柔軟な深層学習手法による分位数回帰を開発すること。
• Huberチェック関数を用いて、生存データの打ち切りを逆確率打ち切り重み（IPCW）を統合した損失関数に組み込み、バイアスを是正すること。
• 特に時間-イベントデータにおける非線形パターンを捉える能力を高め、既存の線形および非パラメトリック分位数回帰手法を上回る予測精度を向上させること。
• KerasおよびTensorFlow 2.0を介して、GPUアクセラレーションをサポートする実用的でオープンソースの実装を提供すること。

提案手法

• 本手法は、右打ち切り下での分位数回帰を最適化するため、修正されたHuberチェック関数を損失関数として使用するニューラルネットワークを採用する。
• 打ち切りは、推定された生存分布から導出される逆確率重み付け（IPCW）により補正され、打ち切り観測のバイアスを是正する。
• 複数の隠れ層およびノードを有する全結合フィードフォワードネットワークをアーキテクチャとして採用し、各訓練foldごとにハイパーパramータチューニングを実施する。
• 過学習を防ぐためにドロップアウトおよびL2ペナルティなどの正則化技術を統合し、Keras/TensorFlow 2.0を介したGPUトレーニングをサポートする。
• 予測区間は、訓練済みネットワークからの分位数固有の出力により生成され、確率的予測が可能になる。
• 最適化には確率的勾配降下法を用い、適応的学習率を適用し、C-index、MMSE、および分位数損失を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、右打ち切り下の時間-イベントデータにおいて非線形関係を効果的に捉え、従来の線形および非パラメトリック分位数回帰を上回る性能を示せるか？
• RQ2 Huberチェック関数に逆確率重み付けを組み込むことで、打ち切り分位数回帰の推定精度はどのように向上するか？
• RQ3 隠れ層の数およびノード数（ネットワークの深さと幅）は、打ち切り生存データにおける予測性能にどのような影響を及えるか？
• RQ4 遺伝子発現および臨床的共変量を有する実際の乳がんデータセットにおいて、本手法は既存手法と比較してどのように性能を発揮するか？

主な発見

• NKI70データセット（n=144）において、DeepQuantregは全分位数（25th、50th、75th）で安定した性能を維持したが、従来手法および非パラメトリック手法は高分位数で性能が低下した。τ=0.75におけるC-indexは0.734であった。
• METABRICデータセット（n=1884）において、DeepQuantregはQuantregおよびrqssの両方をすべての指標で顕著に上回った：τ=0.25におけるC-indexは0.657、τ=0.75におけるMMSEは0.780、τ=0.75における分位数損失は0.342であった。
• NKI70データにおいて、DeepQuantregは分位数損失が0.168（τ=0.75）と最低を記録し、非線形性が顕著に現れる高分位数における予測精度が優れていた。
• 本手法は小規模から中規模のサンプルサイズおよび低次元の共変量に対してもロバストであり、繰り返し2/3トレーニングおよび1/3テスト分割を実施した際、一貫した性能を維持した。
• ドロップアウトおよびL2正則化の導入により一般化性能が向上し、Google Colabを介したGPUサポートによりトレーニング時間が顕著に短縮された。
• モデルが生成した予測区間は、観測された分位数性能と整合的で信頼性が高く、臨床的解釈可能性を向上させた。