[論文レビュー] Deep Ensemble Tensor Factorization for Longitudinal Patient Trajectories Classification

Edward De Brouwer, Jaak Simm+2 more|arXiv (Cornell University)|Nov 26, 2018

Machine Learning in Healthcare参考文献 13被引用数 5

ひとこと要約

本論文では、再帰的ニューラルネットワークを用いて縦断的患者トレースの生成的表現を共同で学習し、入院中の死亡を分類するためのディープアンサンブルテンソル因子分解モデルを提案する。希な、不規則にサンプリングされた臨床データをテンソルとしてモデル化し、ベイジアン不確実性を近似するために生成的モデルのアンサンブルを活用することで、AUC 0.855 を達成し、SAPS-II や GRU ベースのベースラインを上回った。

ABSTRACT

We present a generative approach to classify scarcely observed longitudinal patient trajectories. The available time series are represented as tensors and factorized using generative deep recurrent neural networks. The learned factors represent the patient data in a compact way and can then be used in a downstream classification task. For more robustness and accuracy in the predictions, we used an ensemble of those deep generative models to mimic Bayesian posterior sampling. We illustrate the performance of our architecture on an intensive-care case study of in-hospital mortality prediction with 96 longitudinal measurement types measured across the first 48-hour from admission. Our combination of generative and ensemble strategies achieves an AUC of over 0.85, and outperforms the SAPS-II mortality score and GRU baselines.

研究の動機と目的

• 希で不規則にサンプリングされた縦断的臨床トレースからの患者分類の課題に対処すること。
• 縦断的患者データ内の複雑な時間的依存関係をモデル化するとともに、欠損観測を自然に処理すること。
• アンサンブル学習によるベイジアン後eriorサンプリングの近似によって、予測のロバスト性と正確性を向上させること。
• 静的患者共変量と多次元時系列測定値を統合的に1つのテンソルベースの表現に統合すること。
• 既存の臨床重症度スコア（例：SAPS-II）および分類専用のディープラーニングベースラインを上回る死亡予測性能を達成すること。

提案手法

• 縦断的患者データを、Nが患者数、Mが測定タイプ数、Tが時間ボックス数である3次元テンソル N×M×T として表現する。
• 各患者の潜在的健康状態を時間経過でモデル化するためのディープ生成的RNN（GRUベース）を用い、測定固有の関数を介して観測値を生成する。
• ハイパーパramータ γ で重み付けされた再構成誤差（MSE）と分類交差エントロピーのハイブリッド損失を用いて、エンドツーエンドでモデルを訓練する。
• 200個のモデルを事前分布からハイパーパramータをサンプリングして訓練し、検証性能に基づき上位20個を選択するアンサンブル戦略を適用する。
• 上位性能のモデルの予測を平均化することで、ベイジアン後erior予測分布を近似し、ロバスト性を向上させる。
• 初期化に静的共変量（例：年齢、診断）を用いることで、患者固有のモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 希で不規則にサンプリングされた縦断的患者トレースを、低次元の潜在空間に効果的に表現できるか？
• RQ2 トレース再構成と分類の共同学習は、分類専用モデルに比べて性能を向上させるか？
• RQ3 生成的モデルのアンサンブル学習は、ベイジアン後eriorサンプリングを近似でき、臨床的トレース分類における予測のロバスト性を向上させるか？
• RQ4 SAPS-II などの確立された臨床重症度スコアと比較して、本手法は入院中の死亡予測で優れた性能を示すか？
• RQ5 この生成的モデリング設定において、アンサンブルサイズが性能に与える影響は何か？

主な発見

• 提案手法は、入院中の死亡予測でAUC 0.855 を達成し、SAPS-II スコアおよびGRU補完ベースラインを顕著に上回った。
• アンサンブル戦略により、AUCは0.842から0.855に向上し、不確実性を考慮したモデル平均化の価値が示された。
• わずか20個の小さなアンサンブルでも顕著な性能向上が得られ、ロバストな予測の学習が効率的に行えることが示された。
• 生成的モデリングアプローチは、明示的な補完を伴わず、欠損データと不規則なサンプリングを効果的に処理できた。
• わずか5.9％のテンソル埋め込み率でさえ、患者固有の潜在的トレースを学習し、下流の分類に有用な情報を得られた。
• 時間的ダイナミクスと静的共変量の統合により、モデルの一般化性能と予測正確性が向上した。