[논문 리뷰] Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics

Noga Mudrik, Yenho Chen외 3명|arXiv (Cornell University)|2022. 06. 07.

Bat Biology and Ecology Studies인용 수 5

한 줄 요약

이 논문은 복잡하고 비정상적이며 비선형적인 신경 동역학을 더 단순하고 해석 가능한 선형 성분들의 희박한 조합으로 표현하는 새로운 모델인 분해된 선형 동역학 시스템(dLDS)을 제안한다. 사전 학습을 통한 시간에 따라 변화하는 계수를 학습함으로써 dLDS는 동역학 모드 간의 부드러운 전이를 포착하고, 여러 하위네트워크의 집단 활동을 효율적으로 분리하여, 합성 및 실제 C. elegans 신경 데이터에서 스위치 모델보다 표현력과 해석 가능성 면에서 뛰어난 성능을 보인다.

ABSTRACT

Learning interpretable representations of neural dynamics at a population level is a crucial first step to understanding how observed neural activity relates to perception and behavior. Models of neural dynamics often focus on either low-dimensional projections of neural activity, or on learning dynamical systems that explicitly relate to the neural state over time. We discuss how these two approaches are interrelated by considering dynamical systems as representative of flows on a low-dimensional manifold. Building on this concept, we propose a new decomposed dynamical system model that represents complex non-stationary and nonlinear dynamics of time series data as a sparse combination of simpler, more interpretable components. Our model is trained through a dictionary learning procedure, where we leverage recent results in tracking sparse vectors over time. The decomposed nature of the dynamics is more expressive than previous switched approaches for a given number of parameters and enables modeling of overlapping and non-stationary dynamics. In both continuous-time and discrete-time instructional examples we demonstrate that our model can well approximate the original system, learn efficient representations, and capture smooth transitions between dynamical modes, focusing on intuitive low-dimensional non-stationary linear and nonlinear systems. Furthermore, we highlight our model's ability to efficiently capture and demix population dynamics generated from multiple independent subnetworks, a task that is computationally impractical for switched models. Finally, we apply our model to neural "full brain" recordings of C. elegans data, illustrating a diversity of dynamics that is obscured when classified into discrete states.

연구 동기 및 목표

• 신경 만델라 가설을 동역학 시스템과 통합하여 신경 집단 활동의 해석 가능하고 저차원 표현을 개발하기 위해.
• 신경 동역학 모델링에서 표현력과 해석 가능성 간의 상충 관계를 해결하기 위해.
• 기존의 스위치 모델이나 선형 동역학 시스템이 잘 포착하지 못하는 겹치는, 비정상적이며 비선형적인 동역학을 모델링하기 위해.
• 다양한 독립된 하위네트워크로부터 유래한 동역학을 분리하고 재구성할 수 있는 능력을 모델이 보여주도록 하기 위해.
• 실제 신경 기록, 예를 들어 전체 뇌 C. elegans 데이터에 모델을 적용하여 숨겨진 동역학적 다양성을 드러내기 위해.

제안 방법

• dLDS는 각 성분이 시간에 따라 변화하는 계수 행렬 $\bm{F}_t$ 를 가진 저차원 선형 시스템인 시간에 따라 변화하는 선형 동역학 시스템(LDS)의 선형 조합으로 신경 동역학을 모델링한다.
• 이 모델은 기저 성분들의 희박한 조합으로 동역학을 표현하기 위해 사전 학습 프레임워크를 사용하여, 복잡한 동역학의 효율적이고 해석 가능한 표현을 가능하게 한다.
• 시간에 따라 변화하는 계수 $\bm{c}_t$ 는 순차적 추정을 통해 추적되며, 이는 비정상성과 모드 간의 부드러운 전이에 적응할 수 있도록 한다.
• 이 방법은 최근의 희박한 벡터 추적 기술을 활용하여 동역학 계수와 성분 활성도를 동시에 학습한다.
• 모델은 연속시간 또는 이산시간 설정을 사용하여 훈련되며, 잠재 상태에서 관측 데이터로 매핑하기 위한 선형 관측 모델 $\bm{y}_t = \bm{W}\bm{x}_t + \bm{v}_t$ 를 사용한다.
• 비선형성을 시간에 따라 변화하는 계수를 통해 비정상성으로 모델링함으로써, 복잡한 비선형 기저 함수가 필요 없이 선형 및 비선형 동역학을 모두 지원한다.

실험 결과

연구 질문

• RQ1 분해된 선형 동역학 시스템 모델은 스위치 모델이나 표준 LDS 모델보다 비정상적이고 비선형적인 신경 동역학을 더 효과적으로 포착할 수 있는가?
• RQ2 dLDS는 신경 집단 데이터에서 여러 독립된 하위네트워크로부터 유래한 복잡하고 겹치는 동역학을 얼마나 잘 재구성할 수 있는가?
• RQ3 dLDS는 스위치 모델이 은폐하는 바이어스를 가진 상태로, C. elegans와 같은 실제 신경 기록에서 숨겨진 동역학적 다양성을 어느 정도 드러낼 수 있는가?
• RQ4 시간에 따라 변화하는 계수 $\bm{c}_t$ 는 내재된 비선형 상호작용과 시스템 행동의 변화를 구분하는 지표로 기능할 수 있는가?
• RQ5 이진 스위칭 모델에 비해 dLDS는 동역학 모드 간의 부드러운 전이를 모델링하는 데 얼마나 잘 성능을 내는가?

주요 결과

• dLDS는 연속시간 및 이산시간 설정 모두에서 원래 시스템을 성공적으로 근사하며, 높은 정밀도로 동역학 모드 간의 부드러운 전이를 포착한다.
• 이 모델은 스위치 모델이 계산적으로 비가능한 작업인, 여러 독립된 하위네트워크로부터 생성된 집단 동역학을 효율적으로 분리하고 재구성한다.
• C. elegans 전체 뇌 기록에서 dLDS는 스위치 모델이 비정상적인 상태로 분류할 때 은폐된 동역학적 행동의 다양성을 드러낸다.
• 시간에 따라 변화하는 계수 $\bm{c}_t$ 는 FitzHugh-Nagumo 및 Lorenz 시스템과 같은 비선형 시스템의 규칙성을 추적하여, 비정기적인 변화와 비정상성을 탐지할 수 있다.
• 특히 겹치는 동역학과 비정상적인 동역학을 모델링할 때, 주어진 파rameter 수에 비해 스위치 LDS 모델보다 표현력 면에서 뛰어나다.
• 데이터의 정규화 및 중심화가 추론 안정성 향상에 크게 기여하여, 향후 확장에서 편향 항을 추가로 도입함으로써 더 강력한 모델 구축이 가능할 것으로 보인다.