[論文レビュー] Modeling Irregular Time Series with Continuous Recurrent Units

Mona Schirmer, Mazin Eltayeb+2 more|arXiv (Cornell University)|Nov 22, 2021

Machine Learning in Healthcare参考文献 22被引用数 8

ひとこと要約

本論文では、連続的・離散的カルマンフィルタを用いた線形確率微分方程式と統合することで、正確で閉形式の隠れ状態伝播を実現する、不規則にサンプリングされた時系列データをモデル化するニューラルアーキテクチャ「連続リカレントユニット（CRU）」を提案する。この手法は、ニューラルODEベースのモデルと比較して優れた補間性能を達成し、不確実性を考慮したゲーティングによりノイズの多い部分観測入力に対しても対応可能である。また、高速実装（f-CRU）により効率的な学習が可能である。

ABSTRACT

Recurrent neural networks (RNNs) are a popular choice for modeling sequential data. Modern RNN architectures assume constant time-intervals between observations. However, in many datasets (e.g. medical records) observation times are irregular and can carry important information. To address this challenge, we propose continuous recurrent units (CRUs) -- a neural architecture that can naturally handle irregular intervals between observations. The CRU assumes a hidden state, which evolves according to a linear stochastic differential equation and is integrated into an encoder-decoder framework. The recursive computations of the CRU can be derived using the continuous-discrete Kalman filter and are in closed form. The resulting recurrent architecture has temporal continuity between hidden states and a gating mechanism that can optimally integrate noisy observations. We derive an efficient parameterization scheme for the CRU that leads to a fast implementation f-CRU. We empirically study the CRU on a number of challenging datasets and find that it can interpolate irregular time series better than methods based on neural ordinary differential equations.

研究の動機と目的

• 離散的RNNが均等な時間間隔を仮定するため、時間的連続性を失うという限界を解消するため。
• 隠れ状態の時間的変化を連続時間ダイナミクスとしてモデル化することで、不規則な観測間隔を自然に扱える再帰的アーキテクチャを開発するため。
• カルマンフィルタを用いて不確実性の定量化をゲーミング機構に組み込み、ノイズの多いまたは部分的な観測入力の最適統合を可能にするため。
• 状態伝播と更新の閉形式解を達成することで、数値的ODEソルバーよりも高速な学習を実現するため。

提案手法

• CRUは、隠れ状態の時間的変化を線形確率微分方程式（SDE）でモデル化することで、観測間の時間的連続性を保証する。
• カルマンフィルタは、状態伝播と観測統合の解析的解を提供し、数値近似を用いない正確な計算を可能にする。
• エンコーダ・デコーダフレームワークにより、入力観測をSDEに従う潜在空間にマッピングし、観測時刻に応じてカルマンフィルタを用いて潜在状態を更新する。
• 遷移行列の固有値分解に基づく新しいパラメータ化により、計算オーバーヘッドを低減した高速実装（f-CRU）が可能になった。
• ゲーミング機構は確率論的根拠を有し、カルマンゲインを用いて観測の不確実性と信頼性に基づき、新規観測を最適に重み付けする。
• モデルは不確実性を考慮した推論をサポートしており、入力品質や観測頻度に応じて予測の信頼性を動的に調整可能である。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、隠れ状態の時間的連続性を保ちながら、不規則にサンプリングされた時系列データを効果的にモデル化できるか？
• RQ2 連続的・離散的カルマンフィルタを組み込むことで、ニューラルODEベースのモデルと比較して補間精度がどのように向上するか？
• RQ3 不確実性を考慮したゲーティングにより、ノイズの多いまたは部分的な観測入力への耐性はどの程度向上するか？
• RQ4 カルマンフィルタの閉形式解は、既存手法で用いられる数値的ODEソルバーと比較して、学習速度をどのように向上させるか？
• RQ5 CRUは医療、気象データ、画像生成など多様な分野に一般化可能か？

主な発見

• 振り子の角度予測において、CRUはテストMSE 0.996 × 10⁻³を達成し、f-CRU（1.386 × 10⁻³）やGRU-ODE-B（9.144 × 10⁻³）をすべて上回った。
• PhysioNetデータセットでは、序列外挿予測において最低のテスト誤差を記録し、長期予測能力の優秀さを示した。
• USHCN気象データでは、特に観測が疎である状況下でも、外挿タスクで最高の性能を発揮した。
• カルマンゲインのノルムは、観測が疎である場合（例：80％の疎らかさ）に顕著に低下し、モデルが不完全またはノイズの多い入力を低く重み付けしていることを確認した。
• f-CRUはGRU-ODE-B（60 sec/epoch）やLatent ODE（52 sec/epoch）よりも高速な推論（29 sec/epoch）を達成し、固有値分解に基づくパラメータ化の有効性を裏付けた。
• 部分観測に対するモデルの頑健性は、疎な観測に対してカルマンゲインノルムが低値にシフトする傾向を示し、適応的不確実性処理が行われていることを示した。