[논문 리뷰] Recurrent switching linear dynamical systems

Scott W. Linderman, Andrew C. Miller외 4명|arXiv (Cornell University)|2016. 10. 26.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 43

한 줄 요약

이 논문은 이동하는 선형 동적 시스템(rSLDS)을 소개한다. 이는 이산 상태 전이가 로지스틱 회귀를 통해 연속 잠재 상태 또는 외부 입력에 따라 달라지도록 확장한 베이지안 모델이다. 이 방법은 보조 변수 기법을 통해 해석 가능하고 확장 가능한 추론을 가능하게 하여, 표준 SLDS에 비해 합성 및 실제 농구 공 트랙젝터리 데이터에서 비선형 역학을 더 잘 모델링한다.

ABSTRACT

Many natural systems, such as neurons firing in the brain or basketball teams traversing a court, give rise to time series data with complex, nonlinear dynamics. We can gain insight into these systems by decomposing the data into segments that are each explained by simpler dynamic units. Building on switching linear dynamical systems (SLDS), we present a new model class that not only discovers these dynamical units, but also explains how their switching behavior depends on observations or continuous latent states. These "recurrent" switching linear dynamical systems provide further insight by discovering the conditions under which each unit is deployed, something that traditional SLDS models fail to do. We leverage recent algorithmic advances in approximate inference to make Bayesian inference in these models easy, fast, and scalable.

연구 동기 및 목표

• 복잡하고 비선형적인 시계열 데이터를 더 단순한 역학 모드로 분해하여 해석 가능한 전이 행동을 모델링하기 위해.
• 기존의 이동 선형 동적 시스템(SLDS)을 확장하여 이산 상태 전이가 연속 잠재 상태 또는 외부 입력에 따라 달라지도록 하기 위해.
• 보조 변수 방법을 사용하여 이러한 모델에서 빠르고 확장 가능한 모듈러한 베이지안 추론을 가능하게 하기 위해.
• 결측 데이터와 다중 관측 모odalities를 지원하는 생성적, 해석 가능하고 계층적인 프레임워크를 제공하기 위해.
• 합성 로렌츠 애트랙터 데이터와 실제 NBA 농구 선수의 트랙젝터리 데이터에서 모델의 효과성을 입증하기 위해.

제안 방법

• 연속 잠재 상태 또는 외부 입력에 대한 로지스틱 회귀에 기반한 이동 전이를 갖는 이동 상태공간 모델을 제안한다.
• 연속 역학과 관측에 대해 조건부 선형-가우시안 구조를 사용하여 효율적인 추론을 위한 공액성을 유지한다.
• 빠르고 확장 가능한 베이지안 추론을 가능하게 하기 위해 보조 변수 기법(예: Polson 등, 2013; Linderman 등, 2015)을 적용한다.
• 완전한 베이지안 학습을 위해 전이 행렬에 대한 딜리클레 분포와 시스템 파라미터에 대한 행렬 정규-역위샤르트 분포를 사용한다.
• 대규모 시계열 데이터에 대한 결측치를 다룰 수 있도록 게이브스 샘플링과 변분 추론 기법을 활용한다.
• 다중 에이전트 간 공유 상태를 갖는 '재귀 전용' AR-HMM 변종을 도입하여 선수 트랙젝터리 모델링을 수행한다.

실험 결과

연구 질문

• RQ1 계산 가능성을 유지하면서도 동적 시스템에서 이산 상태 전이를 연속 잠재 상태 또는 환경 요인에 따라 의존적으로 만들 수 있는가?
• RQ2 선형-가우시안 구조를 훼손하지 않고 상태에 의존하는 전이 역학을 갖는 모델에서 베이지안 추론을 효율적으로 수행할 수 있는가?
• RQ3 rSLDS는 표준 SLDS에 비해 로렌츠 애트랙터와 같은 복잡한 비선형 역학을 얼마나 더 정확하게 포착할 수 있는가?
• RQ4 rSLDS는 실제 다중 에이전트 시스템, 예를 들어 NBA 농구 선수와 같은 상황에서 해석 가능한 행동 모드를 얼마나 잘 발견할 수 있는가?
• RQ5 모델은 다수의 에이전트 간에서 일반화 가능하며, 결측 관측치가 있는 이질적인 데이터를 처리할 수 있는가?

주요 결과

• rSLDS 모델은 로렌츠 애트랙터의 비선형 역학을 성공적으로 포착하였으며, 이는 표준 SLDS가 상태와 무관하게 전이되는 것과는 달리, 진짜 시스템의 행동을 거의 정확히 따라간다.
• 농구 트랙젝터리 데이터에서는 드라이브, 베이스라인을 따라 움직임, 코너 슛 등의 명확한 선수 행동에 대응하는 30개의 해석 가능한 상태를 발견하였다.
• 선수별 상태 사용 패턴은 알려진 행동 특성과 일치하였으며, 예를 들어 레이 앨런은 자주 왼쪽 코너 슛 상태를 사용하는 것으로 나타나 모델의 해석 가능성에 대한 검증이 이루어졌다.
• 데이터 복원 성능에서 표준 SLDS에 비해 rSLDS가 뛰어나, rSLDS의 트랙젝터리가 원점 근처를 유지하며 현실적인 전이 행동을 보였다.
• 게이브스 샘플링은 200회 반복 동안 안정적으로 수렴하였으며, 다섯 명의 선수를 포함해 총 256,103개의 시간 단위를 포함한 대규모 데이터셋에 대한 확장 가능한 추론이 가능했다.
• 보조 변수의 사용은 빠르고 모듈러한 베이지안 추론을 가능하게 하였으며, 계층 모델과 다중 모달 관측으로의 확장도 지원하였다.