[논문 리뷰] Integrating Multimodal Data for Joint Generative Modeling of Complex Dynamics

Manuel Brenner, Hess, Florian외 2명|arXiv (Cornell University)|2022. 12. 15.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 다중모달 시계열 데이터—예를 들어 연속 신호와 이산적 사건 수와 같은 것들—을 다중모달 변분 오토에인드라이저(MVAE)를 통해 공동 잠재공간에 통합함으로써 비선형 동역학계(DS)를 재구성하는 데 사용할 수 있는 희박한 교사 포싱(TF) 신호를 생성하는 새로운 훈련 프레임워크 MVAE-TF를 제안한다. 이 방법은 RNN의 훈련을 위해 사용되며, 로렌츠, 루스러, 루이스-글라스와 같은 혼돈 동역학계 벤치마크에서 OPE, SCC, OACF 등의 여러 지표에서 SVAE, BPTT-TF, 다중사출 기반 모델들을 능가하는 뛰어난 재구성 정확도를 달성한다.

ABSTRACT

Many, if not most, systems of interest in science are naturally described as nonlinear dynamical systems. Empirically, we commonly access these systems through time series measurements. Often such time series may consist of discrete random variables rather than continuous measurements, or may be composed of measurements from multiple data modalities observed simultaneously. For instance, in neuroscience we may have behavioral labels in addition to spike counts and continuous physiological recordings. While by now there is a burgeoning literature on deep learning for dynamical systems reconstruction (DSR), multimodal data integration has hardly been considered in this context. Here we provide such an efficient and flexible algorithmic framework that rests on a multimodal variational autoencoder for generating a sparse teacher signal that guides training of a reconstruction model, exploiting recent advances in DSR training techniques. It enables to combine various sources of information for optimal reconstruction, even allows for reconstruction from symbolic data (class labels) alone, and connects different types of observations within a common latent dynamics space. In contrast to previous multimodal data integration techniques for scientific applications, our framework is fully extit{generative}, producing, after training, trajectories with the same geometrical and temporal structure as those of the ground truth system.

연구 동기 및 목표

• 비정규 분포 및 이산적 모달리티(예: 사건 수)를 포함한 다중모달 시계열 데이터로부터 비선형 동역학계(DS)를 재구성하는 데 도전하는 것.
• 혼돈 동역학계에서 RNN 훈련 시 발생하는 기울기 폭주 및 소실 문제(EVGP)를 해결하기 위해 비정규 관측치에 적합한 희박한 교사 포싱(TF)을 적용하는 것.
• 개별 데이터 모달리티의 분포 가정을 유지하면서도 공동 잠재 표현을 가능하게 하여 DS 재구성 성능을 향상시키는 통합 프레임워크를 개발하는 것.
• 과정 노이즈와 불확실성 추정치를 훈련 과정에 통합하여 불확실성 인식 가능하고 확률론적인 DS 재구성 가능성을 제공하는 것.

제안 방법

• 이 방법은 다양한 데이터 모달리티(예: 연속 신호 및 이산 수량)에서 공동 잠재 표현을 학습하기 위해 다중모달 변분 오토에인드라이저(MVAE)를 사용하며, 각각 적절한 우도 함수(예: 정규분포, 포아송분포)로 모델링된다.
• MVAE는 관측된 다중모달 데이터에 대한 공동 사후분포에 대한 변분 근사값을 생성하며, 이를 RNN의 잠재공간에서 희박한 교사 포싱(TF) 신호로 사용한다.
• TF 신호는 시스템의 최대 리아풀로프 지수에 의해 결정된 시간점에 적용되며, RNN의 잠재 상태가 진짜 사후 평균 쪽으로 끌려가도록 하여 훈련을 안정화하고 EVGP 문제를 완화한다.
• BPTT(시간에 따른 역전파)를 통해 훈련되는 RNN은 MVAE가 생성한 TF 신호를 활용하여 기울기 흐름과 재구성 정밀도를 향상시키며, 특히 혼돈 영역에서 뛰어난 성능을 발휘한다.
• 이 프레임워크는 잠재 상태에 대한 전체 사후분포를 유지함으로써 과정 노이즈와 불확실성을 명시적으로 고려하여 예측의 불확실성 추정치를 가능하게 한다.
• DS 재구성에 대해 덴드리틱 PLRNN 아키텍처에 적용되며, 변분 추론과 MVAE-TF 손실을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 희박한 교사 포싱(TF)은 사건 수와 같은 이산적 모달리티 및 연속 신호를 포함한 비정규 분포 다중모달 시계열 데이터에 대해 동역학계 재구성 맥락에서 효과적으로 확장될 수 있는가?
• RQ2 다중모달 데이터를 다중모달 VAE(MVAE)를 통해 통합함으로써, 단일모달 또는 비확률 기반 기준 대비 RNN 기반 혼돈 동역학계 재구성의 정확도와 안정성은 어떻게 향상되는가?
• RQ3 MVAE-TF는 로렌츠, 루스러, 루이스-글라스와 같은 혼돈 시스템에서 재구성 오차를 얼마나 줄이고, 리아풀로프 지수, 애트랙터 기하학 등 불변 동역학적 성질의 유지에 기여하는가?
• RQ4 제안된 방법은 개별 데이터 모달리티의 분포 무결성을 유지하면서도 공동 모델링과 DS 재구성에서의 일반화 능력을 향상시키는가?

주요 결과

• 로렌츠 시스템에서 8개의 순서형 관측치를 사용할 경우, MVAE-TF는 OPE(0.016 ± 0.04)와 SCC(0.016 ± 0.04)에서 가장 낮은 성능을 기록했으며, SVAE(14.7 ± 0.7 및 0.8 ± 0.03)와 MS(13.8 ± 1.1 및 X)를 능가했다.
• 루스러 시스템에서 MVAE-TF는 OPE 0.051 ± 0.009와 SCC 0.051 ± 0.009를 기록했으며, SVAE(0.23 ± 0.05 및 0.39 ± 0.02)보다 유의미하게 낮아 더 뛰어난 재구성 정밀도를 입증했다.
• 루이스-글라스 모델에서 MVAE-TF는 OPE 0.15 ± 0.03과 OACF 0.011 ± 0.002를 기록했으며, SVAE(0.24 ± 0.02 및 0.18 ± 0.04)와 MS(0.14 ± 0.03 및 0.15 ± 0.03)를 능가했다.
• 정규분포, 순서형, 카운트 데이터가 혼합된 다변량 설정에서 MVAE-TF는 로렌츠 시스템에서 D_stsp(1.1 ± 0.2)와 D_H(0.16 ± 0.04)가 가장 낮게 기록했으며, GVAE-TF(1.94 ± 0.28 및 0.40 ± 0.08)와 BPTT-TF(5.3 ± 0.7 및 0.45 ± 0.05)를 능가했다.
• 혼합 데이터 유형이 있는 로렌츠 시스템에서 MVAE-TF는 OPE(0.08 ± 0.01)와 OACF(4.6e-5 ± 1.4e-6)가 가장 낮게 기록되어 복잡한 동역학을 높은 정확도로 포착함을 시사했다.
• 모든 벤치마크에서 최상의 성능을 유지했으며, MVAE-TF는 재구성 오차와 동역학적 성질 유지 측면에서 SVAE, BPTT-TF, GVAE-TF, 다중사출 기반 모델들을 일관되게 능가했다.