[논문 리뷰] Switching Linear Dynamics for Variational Bayes Filtering

Philip Becker-Ehmck, Jan Peters외 1명|arXiv (Cornell University)|2019. 05. 29.

Gaussian Processes and Bayesian Inference인용 수 32

한 줄 요약

이 논문은 고차원적이고 부분 관측된 데이터로부터 더 풍부하고 해석 가능한 잠재 표현을 학습하기 위해 변분 베이즈 추론을 적용한 확률적 스위칭 선형 동역학 시스템(SLDS)을 제안한다. 스위칭 변수를 Concrete 리프레젠테이션으로 모델링하고, 이를 변분 autoencoder 프레임워크에 통합함으로써, 동역학 예측 정확도를 향상시켰다. 이는 KVAE와 같은 기준 모델을 능가하고, FitzHugh-Nagumo 온도계 및 이미지 관측이 있는 미로 탐색과 같은 복잡한 작업에서 TrSLDS와 유사한 성능을 기록한다.

ABSTRACT

System identification of complex and nonlinear systems is a central problem for model predictive control and model-based reinforcement learning. Despite their complexity, such systems can often be approximated well by a set of linear dynamical systems if broken into appropriate subsequences. This mechanism not only helps us find good approximations of dynamics, but also gives us deeper insight into the underlying system. Leveraging Bayesian inference, Variational Autoencoders and Concrete relaxations, we show how to learn a richer and more meaningful state space, e.g. encoding joint constraints and collisions with walls in a maze, from partial and high-dimensional observations. This representation translates into a gain of accuracy of learned dynamics showcased on various simulated tasks.

연구 동기 및 목표

• 비선형 시스템에서 충돌 및 관절 제한과 같은 구조적 제약 조건을 인코딩하는 더 해석 가능하고 의미 있는 잠재 상태 표현을 학습하기 위해.
• 스위칭 동역학을 확률적으로 모델링하여 고차원적이고 부분 관측된 시계열 데이터에서 동역학 예측 정확도를 향상시키기 위해.
• 기존의 변분 오토인코더가 전이를 결정적으로 다루는 데에 한계가 있음을 고려해, 스위칭 상태에 대해 구조적이고 확률적인 추론을 도입하기 위해.
• 다양한 스위칭 변수 근사 방법(Concrete vs. 정규분포)이 시간 이산화 스케일에 대한 모델의 강건성에 미치는 영향을 평가하기 위해.
• 해석 가능한, 물리적으로 의미 있는 잠재 동역학을 학습함으로써 모델 기반 강화 학습 및 제어를 향상시키기 위해.

제안 방법

• 스위칭 변수를 연속적이고 미분 가능한 랜덤 변수로 간주하여, 전체 경로 최적화가 가능한 Concrete 분포를 사용해 확률적 SLDS 모델을 수립한다.
• SLDS 모델을 변분 오토인코더 프레임워크에 통합하여, 부분 관측된 데이터로부터 잠재 상태와 스위칭 동역학을 동시에 추론할 수 있도록 한다.
• 잠재 상태와 스위칭 변수의 사후분포를 근사하기 위해 구조적 변분 추론과 암시적 추론 네트워크를 사용한다.
• 스위칭 게이트를 통해 역전파가 가능하도록 하기 위해 이산 스위칭 변수에 대해 Concrete 리프레젠테이션을 적용한다.
• 초기 상태 변수 h를 특별히 두어 첫 번째 시간 단계를 나머지 시퀀스에서 분리하는 계층적 생성 모델을 구현한다.
• 구조적 추론과 확률적 모델링을 활용하여, 복잡한 시스템에서 국소적 선형 동역학과 전역적 스위칭 행동을 동시에 포착한다.

실험 결과

연구 질문

• RQ1 미분 가능한 스위칭 변수를 갖는 확률적 스위칭 동역학이 비선형 시스템에서 잠재 표현 품질과 동역학 예측 정확도를 향상시킬 수 있는가?
• RQ2 스위칭 변수 분포 선택(Concrete vs. 정규분포)이 시간 이산화 스케일에 대한 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 구조적 제약 조건(예: 충돌, 관절 제한)을 얼마나 잘 해석 가능한 잠재 상태로 분리할 수 있는가?
• RQ4 이미지 기반 및 연속 관측 작업에서 기존의 VAE 기반 기준 모델 대비 장기 예측 성능에서 모델이 우수한가?
• RQ5 학습된 잠재 동역학이 모델 기반 제어 및 시뮬레이션에 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 모델은 10단계를 초과하는 시퀀스에서 특히 높은 성능을 보이며, 튀는 공 환경에서 부드러운 KVAE 기준 모델을 능가하는 장기 예측 성능을 기록했다.
• FitzHugh-Nagumo 온도계에서 모델은 최첨단 TrSLDS 모델과 유사한 예측 성능을 달성하여, 비선형 동역학 시스템에서의 강력한 일반화 능력을 입증했다.
• Concrete 분포를 가진 스위칭 변수를 사용한 모델는 시간 이산화 스케일에 더 민감하며, 더 큰 Δt에서 성능이 급격히 저하되는 경향을 보였다.
• 모델는 벽 충돌 및 관절 제한과 같은 물리적 제약 조건을 잠재 공간에 성공적으로 인코딩하여 더 해석 가능하고 구조적인 표현을 생성했다.
• 확률적 스위칭 변수의 사용은 더 풍부한 잠재 공간을 만들어 시뮬레이션 정확도를 향상시키고 다양한 작업 간의 일반화 능력을 향상시켰다.
• 이미지 기반 관측(예: 튀는 공의 이진 32×32 프레임)에서도 높은 성능를 유지하여 고차원 입력에 대한 강건성을 입증했다.