[논문 리뷰] Reconstructing Nonlinear Dynamical Systems from Multi-Modal Time Series

Daniel Kramer, Philine Lou Bommer외 3명|arXiv (Cornell University)|2021. 11. 04.

Neural dynamics and brain function인용 수 8

한 줄 요약

이 논문은 연속적, 범주형, 카운트 기반 관측치와 같은 이질적인 시간 시리즈 데이터로부터 비선형 동역학 시스템을 복원하기 위한 다중모달 확률적 잠재 RNN(mmPLRNN) 프레임워크를 제안한다. 일반화선형모형을 모달리티별로 통합하고, 역동적으로 해석 가능한 RNN와 함께 EM 또는 변분 추론을 통해 훈련함으로써, 개별 모달리티가 노이즈가 있거나 누락되어도 여전히 기저의 역동성을 효과적으로 복원하며, 로렌츠 및 신경과학 벤치마크에서 강건성과 개선된 애트랙터 복원 성능을 입증한다.

ABSTRACT

Empirically observed time series in physics, biology, or medicine, are commonly generated by some underlying dynamical system (DS) which is the target of scientific interest. There is an increasing interest to harvest machine learning methods to reconstruct this latent DS in a data-driven, unsupervised way. In many areas of science it is common to sample time series observations from many data modalities simultaneously, e.g. electrophysiological and behavioral time series in a typical neuroscience experiment. However, current machine learning tools for reconstructing DSs usually focus on just one data modality. Here we propose a general framework for multi-modal data integration for the purpose of nonlinear DS reconstruction and the analysis of cross-modal relations. This framework is based on dynamically interpretable recurrent neural networks as general approximators of nonlinear DSs, coupled to sets of modality-specific decoder models from the class of generalized linear models. Both an expectation-maximization and a variational inference algorithm for model training are advanced and compared. We show on nonlinear DS benchmarks that our algorithms can efficiently compensate for too noisy or missing information in one data channel by exploiting other channels, and demonstrate on experimental neuroscience data how the algorithm learns to link different data domains to the underlying dynamics.

연구 동기 및 목표

• 다양한 질적 특성을 가진 데이터 모달리티(예: 연속형, 범주형, 카운트)가 존재할 때, 데이터 기반 비선형 동역학 시스템 복원의 격차를 해소하기 위해.
• 다양한 모달리티 관측치를 하나의 잠재 동역학 시스템 모델에 통합하는 통합 프레임워크를 개발하여 기하학적 및 시간적 불변성을 유지하기 위해.
• 개별 모달리티가 노이즈 또는 누락으로 인해 손상되어도, 모달리티 간 상호보완적 정보를 활용하여 잠재 역동성의 강건한 복원을 가능하게 하기 위해.
• 일반적인 함수 근사기법을 사용하여 진정한 비선형 시스템의 벡터장에 근접하는 이론적으로 탄탄한, 역동적으로 해석 가능한 모델을 제공하기 위해.

제안 방법

• 프레임워크는 기저 비선형 동역학 시스템의 벡터장에 대한 일반적인 근사기로 확률적 잠재 RNN(PLRNN)을 사용한다.
• 각 데이터 모달리티는 모달리티별 관측 모델로 모델링되며, 각각 가우시안(선형-가우시안), 범주형(로짓 링크), 감마(로그 링크), 또는 제로-과잉 포아송(ZIP) 모델(로그 링크)을 사용한다.
• 공동 우도는 모든 모달리티에 대해 인수분해되며, 신경망 기반 변분 사후분포를 사용한 변분 추론 방법으로 근사된다.
• 두 가지 훈련 알고리즘을 개발하였으며, 기대값 최대화(EM) 알고리즘과 변분 추론(VI) 알고리즘으로, 잠재 역동성과 관측 매개변수의 엔드 투 엔드 학습을 가능하게 한다.
• 모델은 하한 우도 기반의 마진널 우도(ELBO)를 최대화하여 훈련되며, 매개변수는 확률적 경사 하강법으로 추정된다.
• 아키텍처는 모달리티별 입력 스트림, 공유된 잠재 표현, 그리고 복원 이전에 다중모달 정보를 융합하기 위한 계층적 구조를 포함한다.

실험 결과

연구 질문

• RQ1 다양한 이질적인 데이터 모달리티가 존재할 때, 일부 모달리티가 노이즈가 있거나 불완전하더라도 통합 모델이 기저 비선형 동역학 시스템을 더 정확하게 복원할 수 있는가?
• RQ2 행동 반응이나 스파ike 수와 같은 범주형 및 카운트 기반 관측치의 통합은 단일 모달리티 접근법에 비해 연속적 애트랙터 역동성 복원에 어떻게 기여하는가?
• RQ3 한 모달리티에서 고노이즈 또는 누락 데이터가 발생할 경우, 다른 모달리티의 정보를 활용하여 얼마나 효과적으로 보완할 수 있는가?
• RQ4 다양한 관측 유형에 대해 일반화선형모형(GLMs)을 사용할 경우, 진정한 동역학 시스템의 기하학적 및 시간적 구조를 유지할 수 있는가?
• RQ5 다중모달 DS 복원에서 EM과 변분 추론은 수렴성, 안정성, 복원 정확성 측면에서 어떻게 비교되는가?

주요 결과

• 다양한 모달리티를 사용할 경우, 가우시안 채널에서 20%의 노이즈가 존재하더라도 로렌츠 애트랙터의 기하학적 구조 복원 정확도가 크게 향상되었다.
• 가우시안 관측치가 매우 노이즈가 많을 경우, 감마 또는 ZIP 관측치와 같은 추가 모달리티의 포함으로 애트랙터 복원 성능이 향상되어 상호보완적 보완 효과를 입증하였다.
• 감마 또는 ZIP 관측치만으로는 정보량이 적고 희소성이 높아 복잡한 애트랙터에 대해서는 효과적이지 않았다.
• 단일 모달리티 기반 대비 다중모달 설정에서 진짜 사후분포와 근사 사후분포 간 중앙값 KL 발산이 최대 40% 감소하였다.
• mmPLRNN는 실험 신경과학 데이터에서 신경 BOLD 신호와 행동 범주 레이블 간의 관계를 성공적으로 연결하여, 다양한 모달리티 간 일관된 잠재 역동성을 드러내었다.
• 변분 추론 방법은 EM에 비해 유사하거나 더 뛰어난 성능을 보였으며, 수렴 속도가 빠르고 고차원 데이터에 대해 더 우수한 확장성을 보였다.