[논문 리뷰] Tree-Structured Recurrent Switching Linear Dynamical Systems for Multi-Scale Modeling

Josue Nassar, Scott W. Linderman외 2명|arXiv (Cornell University)|2018. 11. 29.

Gaussian Processes and Bayesian Inference인용 수 35

한 줄 요약

이 논문은 나무 구조적 스위칭 선형 동적 시스템(TrSLDS)을 제안한다. TrSLDS는 나무 구조적 스틱 브레이킹 과정을 통해 국소적으로 선형적인 동적 시스템을 정렬함으로써 다중 척도 비선형 역학을 포괄하는 계층적 베이지안 모델이다. 포리아-가모어 데이터 보정을 통한 완전 베이지안 추론를 가능하게 하여 예측 정확도와 해석 가능성 모두에서 기존 모델을 능가하며, 시뮬레이션된 로렌츠 및 피츠휴-나구모 시스템, 그리고 원숭이 시각 피질의 실제 신경 데이터에서 성능을 입증한다.

ABSTRACT

Many real-world systems studied are governed by complex, nonlinear dynamics. By modeling these dynamics, we can gain insight into how these systems work, make predictions about how they will behave, and develop strategies for controlling them. While there are many methods for modeling nonlinear dynamical systems, existing techniques face a trade off between offering interpretable descriptions and making accurate predictions. Here, we develop a class of models that aims to achieve both simultaneously, smoothly interpolating between simple descriptions and more complex, yet also more accurate models. Our probabilistic model achieves this multi-scale property through a hierarchy of locally linear dynamics that jointly approximate global nonlinear dynamics. We call it the tree-structured recurrent switching linear dynamical system. To fit this model, we present a fully-Bayesian sampling procedure using Polya-Gamma data augmentation to allow for fast and conjugate Gibbs sampling. Through a variety of synthetic and real examples, we show how these models outperform existing methods in both interpretability and predictive capability.

연구 동기 및 목표

• 복잡한 비선형 역학을 다수의 추상화 수준에서 포괄하면서도 설명 가능성을 유지하는 확률 모델을 개발하는 것.
• 비선형 동적 시스템에서 모델의 설명 가능성과 예측 정확도 사이의 상충 관계를 해결하는 것.
• 스위칭 상태에 대한 나무 구조적 사전 분포를 통해 잠재 역학의 계층적, 다중 척도 모델링을 가능하게 하는 것.
• 포리아-가모어 보정을 통한 공액 가우시안 샘플링을 지원하는 효율적인 완전 베이지안 추론 절차를 설계하는 것.
• 시뮬레이션 및 실제 신경 데이터에서 다양한 해상도 수준에서 의미 있는, 해석 가능한 역학을 복원할 수 있는지 검증하는 것.

제안 방법

• 다중 척도 분할을 가능하게 하기 위해 순차적 스틱 브레이킹을 일반화한 나무 구조적 스틱 브레이킹 과정을 도입하여 상태 공간의 계층적 분할을 실현한다.
• 부모 노드와 자식 노드를 연결하는 계층적 사전 분포를 동적 매개변수에 적용하여 나무의 각 수준에서 모델 복잡도의 부드러운 전이를 보장한다.
• 모든 은닉 변수(상태, 스위칭 상태, 동적 매개변수 포함)에 대해 공액 가우시안 샘플링을 가능하게 하기 위해 포리아-가모어 데이터 보정을 활용한다.
• 나무의 각 노드가 국소적으로 선형적인 동적 시스템을 나타내는 반복 스위칭 선형 동적 시스템(rSLDS) 프레임워크를 적용한다.
• 은닉 상태와 모델 매개변수에 대한 게이브스 샘플링을 통한 사후 추론을 수행하며, 최종 모델은 버너아웃 이후 샘플들 중 최고의 로그우도를 기반으로 선정한다.
• 신경 데이터의 경우, 미리 처리된 스파이크 트레인에 확률적 주성분 분석을 적용하여 은닉 상태를 초기화한 후, TrSLDS 프레임워크 내에서 완전 베이지안 추론를 수행한다.

실험 결과

연구 질문

• RQ1 나무 구조적 스위칭 역학을 가진 계층적 모델이 비선형 동적 시스템에서 설명 가능성과 예측 성능을 동시에 향상시킬 수 있는가?
• RQ2 TrSLDS는 로렌츠 애트랙터나 피츠휴-나구모 오크시레이터와 같은 혼돈 시스템에서 다중 척도 역학을 얼마나 잘 복원할 수 있는가?
• RQ3 실제 신경 데이터에서 TrSLDS는 다양한 시각 자극에 대응하는 별개의 리미트 사이클을 포함한 의미 있는 생물학적으로 타당한 역학적 구조를 식별할 수 있는가?
• RQ4 동적 매개변수에 대한 계층적 사전 분포가 모델 해상도 수준 간의 더 부드럽고 일관된 전이를 가능하게 하는가?
• RQ5 포리아-가모어 보정이 이 복잡한 고차원 모델에서 효율적이고 공액적인 베이지안 추론을 얼마나 잘 지원하는가?

주요 결과

• TrSLDS는 나무의 두 번째 수준에서 두 개의 2차원 타원체로 로렌츠 시스템의 나비 모양 애트랙터를 먼저 근사한 후, 각 타원체를 자식 노드로 더 정밀하게 개선함으로써 성공적으로 애트랙터를 포착한다.
• 예측 성능 향상이 입증되었으며, 나무의 깊이가 증가할수록 R² 값이 증가함을 통해 叶 노드에서 가장 정확한 근사가 이루어짐을 확인하였다.
• 원숭이 주요 시각 피질의 신경 데이터에서 TrSLDS는 서로 다른 자극 각도(예: 140/150° 대비 230/240°)에 대응하는 신경 반응을 별개의 하위수형으로 정확히 분리하여 그룹 수준의 역학적 차이를 드러냈다.
• 각 하위수형 내의 叶 노드는 추가로 역학을 정밀화하여 데이터에서 관찰된 주기적 신경 반응과 일치하는 고유하고 안정된 리미트 사이클을 학습한다.
• 계층적 구조는 명확한 다중 척도 시각을 제공한다: 더 흐린 수준에서는 그룹 역학을, 더 깊은 수준에서는 자극에 특화된 진동 패턴을 드러낸다.
• 포리아-가모어 보정을 통한 완전 베이지안 추론은 효율적으로 수렴하며 일관된 결과를 생성하였으며, 최종 시각화 및 분석에는 최고의 로그우도 샘플을 사용하였다.