[論文レビュー] Integrating Multimodal Data for Joint Generative Modeling of Complex Dynamics

Manuel Brenner, Hess, Florian+2 more|arXiv (Cornell University)|Dec 15, 2022

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本論文は、連続信号や離散的イベントカウントなどのマルチモーダル時系列データを統合的に扱うための新規なトレーニングフレームワークMVAE-TFを提案する。このフレームワークは、マルチモーダル変分オートエンコーダー（MVAE）を用いて、非線形力学系（DS）の再構築を目的としたスパースなティーチャーフォース（TF）信号を、共同潜在空間に生成する。このTF信号により、再帰的ニューラルネットワーク（RNN）のトレーニングが促進され、Lorenz、Rössler、Lewis-Glassといったカオス的DSベンチマークにおいて、OPE、SCC、OACFといった複数の指標で、SVAE、BPTT-TF、複数ショーティングベースラインを上回る再構築精度が達成された。

ABSTRACT

Many, if not most, systems of interest in science are naturally described as nonlinear dynamical systems. Empirically, we commonly access these systems through time series measurements. Often such time series may consist of discrete random variables rather than continuous measurements, or may be composed of measurements from multiple data modalities observed simultaneously. For instance, in neuroscience we may have behavioral labels in addition to spike counts and continuous physiological recordings. While by now there is a burgeoning literature on deep learning for dynamical systems reconstruction (DSR), multimodal data integration has hardly been considered in this context. Here we provide such an efficient and flexible algorithmic framework that rests on a multimodal variational autoencoder for generating a sparse teacher signal that guides training of a reconstruction model, exploiting recent advances in DSR training techniques. It enables to combine various sources of information for optimal reconstruction, even allows for reconstruction from symbolic data (class labels) alone, and connects different types of observations within a common latent dynamics space. In contrast to previous multimodal data integration techniques for scientific applications, our framework is fully extit{generative}, producing, after training, trajectories with the same geometrical and temporal structure as those of the ground truth system.

研究の動機と目的

• 非ガウス的で離散的なモダリティ（例：イベントカウント）を含むマルチモーダル時系列データから非線形力学系（DS）を再構築する課題に対処すること。
• カオス的DSにおけるRNNトレーニングにおける勾配の爆発・消失問題（EVGP）を克服するため、非ガウス的観測に適応したスパースティーチャーフォース（TF）を適用すること。
• 個々のデータモダリティの分布的仮定を保持しつつ、共同潜在表現を可能にすることで、DS再構築の精度を向上させる統一フレームワークの構築。
• プロセスノイズと不確実性推定値をトレーニングプロセスに統合することで、不確実性を伴う確率的再構築を可能にすること。

提案手法

• 本手法は、適切な尤度関数（例：ガウス分布、ポisson分布）を用いてモデリングされる多様なデータモダリティ（例：連続信号と離散的カウント）から、共同潜在表現を学習するマルチモーダル変分オートエンコーダー（MVAE）を採用する。
• MVAEは、観測されたマルチモーダルデータの共同事後分布の変分近似を生成し、これをRNNの潜在空間におけるスパースティーチャーフォース（TF）信号として用いる。
• TF信号は、系の最大リャプノフ指数に基づいて決定される時刻に適用され、RNNの潜在状態を真の事後分布平均に引き寄せるため、トレーニングの安定化とEVGPの緩和に寄与する。
• RNNは、時系列を逆方向に誤差逆伝播（BPTT）することでトレーニングされ、MVAEが生成するTF信号を介して勾配の流れと再構築忠実度が向上し、特にカオス的領域で顕著に改善される。
• 本フレームワークは、潜在状態の完全な事後分布を維持することで、プロセスノイズと不確実性を明示的に扱い、予測における不確実性推定を可能にする。
• 本手法は、DS再構築に適したデンドリティックPLRNNアーキテクチャに適用され、変分推論とMVAE-TF損失を用いて最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 非ガウス的でマルチモーダルな時系列データ（例：離散的イベントカウントや連続信号）に対して、スパースティーチャーフォース（TF）を効果的に拡張できるか。
• RQ2 マルチモーダルデータをマルチモーダルVAE（MVAE）で統合することで、単一モダリティまたは非確率的ベースラインと比較して、RNNを用いたカオス的力学系の再構築精度と安定性がどのように向上するか。
• RQ3 MVAE-TFは、Lorenz、Rössler、Lewis-Glassのようなカオス的系において、再構築誤差をどれほど低減し、力学的不変性（例：リャプノフ指数、アトラクタの幾何構造）の保持をどのように改善するか。
• RQ4 本手法は、個々のデータモダリティの分布的整合性を維持しつつ、統合モデリングとDS再構築における一般化性能の向上を実現できるか。

主な発見

• Lorenz系において、8つの順序付き観測値を用いた場合、MVAE-TFはOPE（0.016 ± 0.04）とSCC（0.016 ± 0.04）で最低を記録し、SVAE（14.7 ± 0.7 と 0.8 ± 0.03）およびMS（13.8 ± 1.1 と X）を上回った。
• Rössler系では、MVAE-TFがOPE 0.051 ± 0.009 および SCC 0.051 ± 0.009 を達成し、SVAE（0.23 ± 0.05 と 0.39 ± 0.02）を著しく下回り、優れた再構築忠実度を示した。
• Lewis-Glassモデルでは、MVAE-TFがOPE 0.15 ± 0.03 および OACF 0.011 ± 0.002 を達成し、SVAE（0.24 ± 0.02 と 0.18 ± 0.04）およびMS（0.14 ± 0.03 と 0.15 ± 0.03）を上回った。
• 正規分布、順序尺度、カウントデータを含む多次元設定において、Lorenz系でMVAE-TFはD_stsp（1.1 ± 0.2）とD_H（0.16 ± 0.04）で最低を記録し、GVAE-TF（1.94 ± 0.28 と 0.40 ± 0.08）およびBPTT-TF（5.3 ± 0.7 と 0.45 ± 0.05）を上回った。
• 混合データ型を用いたLorenz系では、MVAE-TFがOPE（0.08 ± 0.01）とOACF（4.6e-5 ± 1.4e-6）で最低を記録し、複雑な力学的挙動を高精度で捉える能力を示した。
• 本手法は全ベンチマークで最先端の性能を維持し、MVAE-TFはSVAE、BPTT-TF、GVAE-TF、および複数ショーティングベースラインを常に上回る再構築誤差と力学的性質の保持性能を示した。