[논문 리뷰] Deep Variational Bayes Filters: Unsupervised Learning of State Space Models from Raw Data

Maximilian Karl, Maximilian Soelch외 2명|arXiv (Cornell University)|2016. 05. 20.

Gaussian Processes and Bayesian Inference인용 수 182

한 줄 요약

DVBF는 원시 시퀀스 데이터로부터 전이를 미분가능하게 만들고 잠재 공간을 진정한 동역학을 반영하도록 제약함으로써 정확한 장기 예측과 제어 가능한 추론을 가능하게 하는 확률적 잠재 상태 공간 모델을 학습합니다.

ABSTRACT

We introduce Deep Variational Bayes Filters (DVBF), a new method for unsupervised learning and identification of latent Markovian state space models. Leveraging recent advances in Stochastic Gradient Variational Bayes, DVBF can overcome intractable inference distributions via variational inference. Thus, it can handle highly nonlinear input data with temporal and spatial dependencies such as image sequences without domain knowledge. Our experiments show that enabling backpropagation through transitions enforces state space assumptions and significantly improves information content of the latent embedding. This also enables realistic long-term prediction.

연구 동기 및 목표

• 원시 고차원 연속 데이터에서 도메인 지식 없이 잠재 상태 공간 모델 학습의 필요성에 대한 동기 부여.
• 상태 공간 가정의 강제 및 신뢰할 수 있는 시스템 식별을 가능하게 하기 위한 DVBF 개발.
• 시간을 통해 역전파가 가능하도록 미분가능한 잠재 전이를 통해 변분 추론 연결.
• 제어 및 예측에 적합한 전체 정보 잠재 표현을 DVBF가 산출함을 보임.
• 확률적 경사 최적화를 통한 대규모 데이터 세트에 대한 확장성 시연.

제안 방법

• 잠재 상태 z1:T, 발현 x1:T, 제어 u1:T, 전이 매개변수 β1:T를 포함하는 확률적 생성 모델 형식화.
• 전이가 z_t+1 = f(z_t, u_t, β_t)로 재매개변수화되어 전이가 미분가능하고 시간에 따라 역전파될 수 있도록 함.
• 전이 매개변수를 샘플 특성 잡음인 w_t과 전역적 사전 정규화 매개변수인 v_t로 분리하고 qφ(β1:T|x1:T, u1:T) = qφ(w1:T|x1:T, u1:T) qφ(v1:T)인 요인화 인식 모델을 사용.
• 사후 확률의 하한을 이용하여 pθ(x1:T|u1:T)의 주변우도에 대해 DVBF 하한(Bayesian Evidence Lower Bound)를 도출하고 β에 대한 KL 항과 훈련 안정화를 위한 어니잉 스케줄을 포함.
• z_t+1 = A_t z_t + B_t u_t + C_t w_t와 같이 국소적으로 선형인 전이 예시를 제시하고 A_t, B_t, C_t는 α_t = fψ(z_t, u_t)에 의해 제어되는 M 후보 행렬의 혼합으로 구성.
• 이 접근 방식이 장기 생성 및 예측에 적합한 잠재 동역학을 강제하는 방법을 보여줌.

실험 결과

연구 질문

• RQ1 DVBF가 원시 관측값에서 잠재 상태 공간 동역학을 신뢰성 있게 식별할 수 있는가?
• RQ2 잠재 공간의 전이 동역학 강제가 기존 모델에 비해 정보 내용과 장기 예측 능력을 개선하는가?
• RQ3 pendulum 및 bouncing balls와 같은 동적 시스템의 고차원 감각 데이터(예: 이미지)에서 DVBF의 성능은 어떠한가?
• RQ4 학습 안정성과 모델 품질에 대한 제안된 전이 재매개변수화 및 사전분포의 영향은 무엇인가?

주요 결과

• 국소적으로 선형인 전이와 함께 DVBF은 지배적인 상태 정보를 포함하는 잠재 공간을 학습합니다(예: 진자에서 각도와 각속도 등). 이는 DKF 등 기존 방법보다 더 완전합니다.
• 진자 데이터에서 DVBF-LL은 잠재 상태와 실제 변수(예: sin(phi), cos(phi), dot(phi)) 사이의 높은 상관관계를 달성하고 DKF는 각속도 회복에 어려움을 보임.
• DVBF는 훈련 시퀀스 길이를 넘어서는 안정적인 장기 생성 샘플을 제공하여 장기 예측 능력이 향상됨을 보여줍니다.
• 바운싱 볼 실험에서 잠재 공간은 위치와 속도 구성요소를 명확하게 분리하고 위치용 2D 매니폴드와 속도에 대한 일관된 인코딩을 형성합니다.
• 진자 작업에서 DVBF-LL은 DKF보다 더 나은 압축 성능(하한 지표상 더 낮은 하한)을 보였으며 재구성의 차이가 있어도 더 나은 성능을 보였습니다.
• 다양한 실험에서 DVBF 프레임워크는 확률적 경사 최적화와 학습 가능한 신경망 기반 인식 모델을 통해 더 큰 데이터 세트에서도 확장 가능성을 보였습니다.