[論文レビュー] Relaxed Parameter Sharing: Effectively Modeling Time-Varying Relationships in Clinical Time-Series

Jeeheh Oh, Jiaxuan Wang+3 more|arXiv (Cornell University)|Jun 7, 2019

Machine Learning in Healthcare参考文献 42被引用数 9

ひとこと要約

本稿では、時間に依存するパラメータを許容する混合モデルを用いることで、LSTMにおける完全なパラメータ共有を緩和する新しいRNNアーキテクチャ、mixLSTMを提案する。この手法は、時間的条件付きシフト（臨床的特徴と結果の関係が時間とともに変化する現象）にさらされる臨床時系列タスクにおいて、特にデータが限られる状況でも顕著な性能向上を達成する。本手法は、急性呼吸窮 迫症、ショック、入院内死亡率の3つの臨床予測タスクにおいて、標準LSTMおよび最先端のベースラインを上回る性能を示した。

ABSTRACT

Recurrent neural networks (RNNs) are commonly applied to clinical time-series data with the goal of learning patient risk stratification models. Their effectiveness is due, in part, to their use of parameter sharing over time (i.e., cells are repeated hence the name recurrent). We hypothesize, however, that this trait also contributes to the increased difficulty such models have with learning relationships that change over time. Conditional shift, i.e., changes in the relationship between the input X and the output y, arises when risk factors associated with the event of interest change over the course of a patient admission. While in theory, RNNs and gated RNNs (e.g., LSTMs) in particular should be capable of learning time-varying relationships, when training data are limited, such models often fail to accurately capture these dynamics. We illustrate the advantages and disadvantages of complete parameter sharing (RNNs) by comparing an LSTM with shared parameters to a sequential architecture with time-varying parameters on prediction tasks involving three clinically-relevant outcomes: acute respiratory failure (ARF), shock, and in-hospital mortality. In experiments using synthetic data, we demonstrate how parameter sharing in LSTMs leads to worse performance in the presence of conditional shift. To improve upon the dichotomy between complete parameter sharing and no parameter sharing, we propose a novel RNN formulation based on a mixture model in which we relax parameter sharing over time. The proposed method outperforms standard LSTMs and other state-of-the-art baselines across all tasks. In settings with limited data, relaxed parameter sharing can lead to improved patient risk stratification performance.

研究の動機と目的

• 臨床的特徴と結果の関係が時間とともに変化する時間的条件付きシフトが、標準RNNの臨床予測性能に与える影響を調査すること。
• 特に限られた学習データ下で、完全なパラメータ共有が時間に依存する関係のモデリングを困難にすることを是正すること。
• 混合モデルによるパラメータ共有の緩和を通じて、一般化性能と適応性のバランスを取る新しいRNNフレームワークを提案すること。
• 合成データおよび実臨床データを用いて、提案手法の性能を評価し、リスク分類性能の向上を実証すること。
• 集中治療医療環境における特徴の重要度の時間的変化を解釈可能な形で明らかにすること。

提案手法

• 複数のLSTMセルに個別のパラメータを持つ、エキスパートの混合構造を採用したRNN、mixLSTMを提案する。各セルは時間に依存する混合重みによって選択され、時間に応じた表現を可能にする。
• 混合モデル内の各LSTMセルは、患者の入院期間における異なる時間的フェーズに特化して学習され、完全なパラメータ共有を回避しつつ、時間に依存する表現を実現する。
• 時間に特化した混合重みを計算するためにソフトアテンション機構を用い、各タイムステップで最も関連性の高いセルを動的に選択可能にする。
• バイナリ分類タスクにおいて交差エントロピー損失を用い、エンドツーエンドで学習を行う。特にデータが少ない状況での過学習を防ぐために正則化を適用する。
• 特徴の重要度を時間経過とともに解釈可能にするために、順列ベースの感度分析を採用し、勾配に基づくサリエンシー手法を補完する。
• AUROCを用いて性能を評価し、合成データおよび実臨床データにおいて、標準LSTMおよび他の最先端ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 臨床的特徴と結果の関係が時間とともに変化する状況下で、LSTMにおける完全なパラメータ共有が性能に悪影響を及えるか？
• RQ2 RNNにおけるパラメータ共有の緩和が、時間的条件付きシフトを伴う臨床時系列予測タスクの性能向上に寄与するか？
• RQ3 real-world臨床予測タスクにおいて、mixLSTMは標準LSTMおよび他の最先端モデルと比較してどのように性能を発揮するか？
• RQ4 急性呼吸窮迫症（ARF）、ショック、入院内死亡率の予測において、特徴の重要度が時間経過とともにどのように変化するか？
• RQ5 本手法は可変長の臨床時系列データに一般化可能か、それとも固定長のシーケンスに限定されるか？

主な発見

• mixLSTMは、急性呼吸窮迫症、ショック、入院内死亡率の3つの臨床予測タスクにおいて、標準LSTMおよび他の最先端モデルを顕著に上回る性能を示した。
• 制御された条件付きシフトを備えた合成データでは、特にデータが限られる状況下で、標準LSTMに比べてAUROCが顕著に高い結果を達成した。
• 順列ベースの感度分析により、主要な予測要因の重要度が時間経過とともに変化することが明らかになった。例えば、ARF予測においては、初期のICU滞在期間では呼吸数が最も重要であり、後期には体温が重要度を高めた。
• モデルは、持続的な不整脈がショックリスクを時間経過とともに増幅するような、進化するリスクダイナミクスを捉えている。これは、標準LSTMが効果的にモデリングできない。
• 混合メカニズムにより、ICU入室の初期、中盤、後期の各段階で異なる表現を学習し、特化した学習が可能になった。
• 可変長シーケンスの処理には限界があるものの、固定長の臨床時系列設定において、強い一般化性能と解釈可能性を示した。