[论文解读] Switching Linear Dynamics for Variational Bayes Filtering

Philip Becker-Ehmck, Jan Peters+1 more|arXiv (Cornell University)|May 29, 2019

Gaussian Processes and Bayesian Inference被引用 32

一句话总结

本文提出了一种使用变分贝叶斯推断的随机切换线性动态系统（SLDS），以从高维、部分观测数据中学习更丰富且可解释的潜在表征。通过使用Concrete松弛方法对切换变量进行建模，并将其整合到变分自编码器框架中，该方法提升了动态预测的准确性——在FitzHugh-Nagumo振子和基于图像观测的迷宫导航等复杂任务中，其性能优于基线模型KVAE，并与TrSLDS相当。

ABSTRACT

System identification of complex and nonlinear systems is a central problem for model predictive control and model-based reinforcement learning. Despite their complexity, such systems can often be approximated well by a set of linear dynamical systems if broken into appropriate subsequences. This mechanism not only helps us find good approximations of dynamics, but also gives us deeper insight into the underlying system. Leveraging Bayesian inference, Variational Autoencoders and Concrete relaxations, we show how to learn a richer and more meaningful state space, e.g. encoding joint constraints and collisions with walls in a maze, from partial and high-dimensional observations. This representation translates into a gain of accuracy of learned dynamics showcased on various simulated tasks.

研究动机与目标

• 学习更具可解释性和意义的潜在状态表征，以编码非线性系统中的结构约束（如碰撞和关节限制）。
• 通过随机建模切换动态，提升高维且部分观测时间序列数据的动态预测准确性。
• 通过在切换状态上引入结构化、随机推理，解决现有变分自编码器在处理转换时的确定性局限。
• 评估不同切换变量近似方法（Concrete与正态分布）对时间离散化尺度鲁棒性的影响。
• 通过学习解耦的、具有物理意义的潜在动态，实现更优的基于模型的强化学习与控制。

提出的方法

• 构建一种随机SLDS模型，通过使用Concrete分布将切换变量视为连续、可微的随机变量，以支持端到端训练。
• 将SLDS模型整合到变分自编码器框架中，实现从部分观测中对潜在状态与切换动态的联合推断。
• 采用结构化变分推断与摊销推理网络，近似潜在状态与切换变量的后验分布。
• 对离散切换变量应用Concrete松弛，以实现通过随机门的反向传播，支持可微训练。
• 采用分层生成模型，并引入特殊初始状态变量 h，以将首时间步与序列其余部分解耦。
• 利用结构化推断与概率建模，同时捕捉复杂系统中的局部线性动态与全局切换行为。

实验结果

研究问题

• RQ1 使用可微切换变量的随机切换动态是否能提升非线性系统中潜在表征质量与动态预测性能？
• RQ2 切换变量分布的选择（Concrete分布与正态分布）如何影响模型对时间离散化尺度的鲁棒性？
• RQ3 该方法在多大程度上能将结构约束（如碰撞、关节限制）解耦为可解释的潜在状态？
• RQ4 在基于图像观测与连续观测任务中，该模型是否在长时序动态预测上优于现有的VAE基线？
• RQ5 所学习的潜在动态是否能有效用于基于模型的控制与模拟？

主要发现

• 在弹跳小球环境中，该模型在长时序预测上优于平滑化的KVAE基线，尤其在超过10步的序列中表现更优。
• 在FitzHugh-Nagumo振子任务中，该模型的预测性能与最先进方法TrSLDS相当，展现出在非线性动力系统中的强大泛化能力。
• 采用Concrete分布切换变量的模型对时间离散化尺度更敏感，当Δt增大时性能迅速下降，而正态分布切换变量则表现更稳定。
• 该方法成功将物理约束（如墙碰撞、关节限制）编码至潜在空间，生成更具可解释性与结构化的表征。
• 引入随机切换变量可构建更丰富的潜在空间，提升模拟精度，并在多样化任务中实现更好泛化。
• 该模型在基于图像的观测（如32×32二值帧的弹跳小球）中保持强鲁棒性，展现出对高维输入的适应能力。