[論文レビュー] Hybrid Gradient Boosting Trees and Neural Networks for Forecasting Operating Room Data

Hugh Chen, Scott Lundberg+1 more|arXiv (Cornell University)|Jan 23, 2018

Machine Learning in Healthcare参考文献 10被引用数 8

ひとこと要約

本論文は、単変量の長短期記憶（LSTM）ネットワークを用いた教師あり表現学習と勾配ブースティングツリー（XGBoost）を組み合わせたハイブリッドモデルを提案し、手術室における低酸素血症の予測を目的としている。個々の時系列特徴量（例：SaO2、ETCO2）に対してLSTMを訓練することで潜在表現を抽出し、これらの表現を、指数移動平均（EMA）などの処理済み特徴量とともにXGBoostに供給することで、24.8%のPR-AUCを達成した。これは単独で使用したいずれのモデルよりも顕著に優れており、LSTMが長期間の依存関係を効果的に捉え、XGBoostが多様な静的および動的特徴量を効率的に統合できることを示している。

ABSTRACT

Time series data constitutes a distinct and growing problem in machine learning. As the corpus of time series data grows larger, deep models that simultaneously learn features and classify with these features can be intractable or suboptimal. In this paper, we present feature learning via long short term memory (LSTM) networks and prediction via gradient boosting trees (XGB). Focusing on the consequential setting of electronic health record data, we predict the occurrence of hypoxemia five minutes into the future based on past features. We make two observations: 1) long short term memory networks are effective at capturing long term dependencies based on a single feature and 2) gradient boosting trees are capable of tractably combining a large number of features including static features like height and weight. With these observations in mind, we generate features by performing "supervised" representation learning with LSTM networks. Augmenting the original XGB model with these features gives significantly better performance than either individual method.

研究の動機と目的

• 既存のモデルが長期的依存関係や特徴量統合に苦労するという限界を克服し、機械学習を用いて手術室における低酸素血症の予測を改善すること。
• LSTMによる教師あり表現学習が、解釈可能なモデルに使用可能な意味のある潜在的特徴量を時系列生理データから抽出できるかどうかを検討すること。
• 勾配ブースティングツリーが、LSTMから得られる表現と従来の時系列処理特徴量（例：EMA/EMV）を効果的に統合し、予測性能を向上させられるかどうかを評価すること。
• LSTMから得られる特徴量が、指数移動平均（EMA）や指数移動分散（EMV）といった標準的な統計的特徴量に加えて追加の予測的パワーを提供するかどうかを特定すること。
• オープンソースツールとモジュラーなコンponent統合を用いて、一般化可能でアクセス可能なバイオメディカル時系列予測のフレームワークを構築すること。

提案手法

• 個々の時系列特徴量（例：SaO2、ETCO2）に対して単変量LSTMネットワークを訓練し、教師あり表現学習によって潜在表現を学習する。
• 訓練済みLSTMの2番目に最後の層を用い、200次元の密度特徴量ベクトルとして、時間的パターンと長期的依存関係を表現する。
• 複数のアルファ値を用いた指数移動平均（EMA）および指数移動分散（EMV）を用いて、時系列データを前処理し、耐性を高める。
• LSTMから得られる隠れ特徴量と処理済み時系列特徴量（EMA/EMV）および静的患者特徴量（例：体重、年齢、ASAコード）を統合し、最終的なXGBoostモデルを構築する。
• ロジスティック目的関数、学習率0.02、最大深さ6、サブサンプリング率0.5でXGBoostを訓練し、精度再現曲線（PR）の下側面積を最適化する。
• 訓練順序をランダム化し、LSTM訓練中にドロップアウトおよび再帰的ドロップアウトを適用して過学習を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 単変量LSTMネットワークは、SaO2などの単一の生理時系列特徴量において、臨床的予測に適した長期的時間的依存関係を効果的に学習できるか？
• RQ2 LSTMから得られる潜在的表現と従来の時系列特徴量（例：EMA/EMV）を組み合わせることで、単独で使用した場合よりも低酸素血症予測性能が向上するか？
• RQ3 静的患者特徴量（例：体重、年齢）は予測性能にどの程度寄与するか。また、勾配ブースティングツリーはそれらを効果的に統合できるか？
• RQ4 LSTMから得られる隠れ特徴量は、EMA や EMV といった標準的な統計的特徴量が捉える情報に加えて、追加の予測的情報を提供するか？
• RQ5 ディープラーニングと木構造アンサンブル手法のハイブリッドモデルは、解釈可能で臨床現場でアクセス可能な状態を保ちながら、優れた性能を達成できるか？

主な発見

• 処理済み特徴量（EMA/EMV）とLSTMから得られる隠れ特徴量の両方を用いたXGBoostを用いたハイブリッドモデルが、テスト時のPR-AUC 0.24836を達成し、全モデルの中で最高となった。
• 処理済み特徴量（40特徴量）のみを用いたXGBoostは、PR-AUC 0.22999を達成し、LSTM単体モデル（0.20580）を顕著に上回った。これは、XGBoostが特徴量の相互作用と統合に優れていることを示している。
• LSTMから得られる200次元の隠れ特徴量は、最終的なLSTM出力確率のみを使用した場合よりもXGBoostの性能を向上させた。これは、中間層（ペンultimate layer）により豊かな表現が捉えられていることを示唆している。
• LSTM出力確率のみを用いたモデルよりも、処理済み特徴量とLSTM隠れ特徴量の両方を用いたモデル（モデル5）が優れた性能を示した。これは、隠れ表現が最終予測ヘッドよりもより多くの予測的情報を含んでいることを示している。
• SaO2を処理済み特徴量から除外しても、LSTM隠れ特徴量の導入により性能が向上した（PR-AUC 0.24678）。これは、LSTM隠れ特徴量が主な時系列信号を超えた情報を捉えていることを示している。
• 計算効率が高く、最も遅いXGBoostモデルでも約4時間で訓練が完了した。KerasやXGBoostといったオープンソースツールを用いて、一般化可能でアクセス可能なフレームワークを実現した。