[論文レビュー] Neural Ordinary Differential Equations for Intervention Modeling

Daehoon Gwak, Gyuhyeon Sim+4 more|arXiv (Cornell University)|Oct 16, 2020

Machine Learning in Healthcare参考文献 1被引用数 6

ひとこと要約

本稿では、観測駆動のダイナミクスと外部干渉の影響を分離するための2つの別個のODEを用いることで、自律的システムのダイナミクスと外部干渉の影響を分離する新しいNeural ODEフレームワークIMODEを提案する。合成データおよび実世界の医療時系列データを用いた実験により、IMODEは従来の手法を上回り、干渉の影響をモデル化する際の性能向上を実現するとともに、ダイナミクスと干渉の影響の解釈可能な分離を可能にする。

ABSTRACT

By interpreting the forward dynamics of the latent representation of neural networks as an ordinary differential equation, Neural Ordinary Differential Equation (Neural ODE) emerged as an effective framework for modeling a system dynamics in the continuous time domain. However, real-world systems often involves external interventions that cause changes in the system dynamics such as a moving ball coming in contact with another ball, or such as a patient being administered with particular drug. Neural ODE and a number of its recent variants, however, are not suitable for modeling such interventions as they do not properly model the observations and the interventions separately. In this paper, we propose a novel neural ODE-based approach (IMODE) that properly model the effect of external interventions by employing two ODE functions to separately handle the observations and the interventions. Using both synthetic and real-world time-series datasets involving interventions, our experimental results consistently demonstrate the superiority of IMODE compared to existing approaches.

研究の動機と目的

• 従来のNeural ODEモデルが外部干渉によるシステムダイナミクスの変化を適切に扱えないという限界に対処すること。
• システムの自律的進化と外部干渉の影響を別々にモデル化する手法を開発すること。
• 連続時間動的システムにおける干渉の影響の解釈可能で分離されたモデリングを可能にすること。
• 不規則または影響力のある干渉（例：医療治療）を含む時系列データにおける予測精度の向上すること。

提案手法

• IMODEは2つの異なるODE関数を用いる：1つは観測に基づいてシステム状態の自律的ダイナミクスをモデル化し、もう1つは外部干渉の影響をモデル化する。
• 干渉用ODEは、干渉入力と時刻を入力とし、状態を直接変更するのではなく、システムのダイナミクスを更新するようにパラメータ化されたニューラルネットワークによって構成される。
• 潜在状態は2つの成分に分解される：$\mathbf{z}_x$ は自律的ダイナミクスを、$\mathbf{z}_a$ は干渉の影響を表し、これにより分離が可能になる。
• 変分推論を用いてエンドツーエンドで学習され、システム状態は結合ODEの数値積分により進化する。
• 本フレームワークは離散的および連続的干渉（減衰的または恒久的効果を含む）をサポートする。
• 実世界の医療データに適応させるために、多治療予測にはシグモイド活性化関数を用い、連続的干渉設定では勾配反転層を削除している。

実験結果

リサーチクエスチョン

• RQ1 Neural ODEベースのモデルは、外部干渉からの自律的システムダイナミクスを効果的に分離できるか？
• RQ2 IMODEは合成および実世界の時系列データにおいて、従来の干渉モデリングベースラインと比較してどのように性能を発揮するか？
• RQ3 IMODEの分離された表現により、干渉の影響の解釈可能なモデリングが可能になるか？
• RQ4 IMODEは不規則でマルチモーダルな干渉を伴う複雑な実世界の医療時系列データに一般化可能か？

主な発見

• 合成データおよびeICUデータセットの両方において、IMODEはODE-RNN、RNN-Decayその他のベースラインを常に上回り、干渉下での時系列軌道の予測性能に優れた。
• eICUデータセットでは、ノレピネフリン投与後の収縮期血圧、拡張期血圧、平均血圧の予測において、IMODEが最も高い精度を達成した。
• $\mathbf{z}_x$ の$L_2$ノルムは時間経過とともに安定しており、自律的ダイナミクスの堅牢なモデリングを示しているのに対し、$||\mathbf{z}_a||_2$ は干渉時刻にピークを示し徐々に減衰する傾向を示しており、干渉の影響の分離が確認された。
• 合成実験では、IMODEは減衰的干渉効果や恒久的シフトを正しく捉えており、ベースラインは干渉の影響を正確にモデル化できなかった。
• モデルの挙動解析により、干渉の影響がシステムダイナミクスとは別個に学習されていることが確認され、分離目的の妥当性が裏付けられた。
• 連続的かつ予測不能な干渉（例：Moving BallやExponential Decay）の設定では、治療分類器を無効にした場合、IMODEはCRNを上回り、優れた一般化性能を示した。