[论文解读] Adaptive Path-Integral Autoencoder: Representation Learning and Planning for Dynamical Systems

Jung-Su Ha, Youngjin Park+3 more|arXiv (Cornell University)|Jul 5, 2018

Model Reduction and Neural Networks参考文献 70被引用 5

一句话总结

本文提出了一种自适应路径积分自编码器（APIAE），将半归约化变分推断与路径积分控制相结合，从高维序列数据（如视频）中学习低维潜在动力学。通过将后验推断建模为随机最优控制问题，APIAE 利用自适应路径积分方法迭代优化变分参数，实现更紧致的变分下界和潜在空间中的有效规划，在运动预测和无碰撞运动规划方面表现出色。

ABSTRACT

We present a representation learning algorithm that learns a low-dimensional latent dynamical system from high-dimensional extit{sequential} raw data, e.g., video. The framework builds upon recent advances in amortized inference methods that use both an inference network and a refinement procedure to output samples from a variational distribution given an observation sequence, and takes advantage of the duality between control and inference to approximately solve the intractable inference problem using the path integral control approach. The learned dynamical model can be used to predict and plan the future states; we also present the efficient planning method that exploits the learned low-dimensional latent dynamics. Numerical experiments show that the proposed path-integral control based variational inference method leads to tighter lower bounds in statistical model learning of sequential data. The supplementary video: https://youtu.be/xCp35crUoLQ

研究动机与目标

• 为解决在使用变分推断进行序列数据建模时后验推断的不可解问题。
• 通过引入变分参数的迭代优化，减少归约化推断中的归约差距。
• 利用控制-推断对偶性，将后验推断转化为随机最优控制问题。
• 通过可微分的迭代优化步骤，实现端到端训练，提升表征学习与规划能力。
• 证明优化后的变分推断能同时提升模型学习能力与动力系统未来状态的预测性能。

提出的方法

• 通过初始状态和控制输入参数化变分分布，实现控制-推断对偶性。
• 利用路径积分方法，将后验推断重新表述为随机最优控制（SOC）问题。
• 应用自适应路径积分控制，迭代优化变分参数，提升近似质量。
• 使用结构化推理网络输出变分参数，确保与潜在动力学的马尔可夫性质一致。
• 采用可微分的优化步骤，使反向传播能够通过推断过程，实现端到端训练。
• 利用学习到的低维潜在动力学，高效规划未来观测序列。

实验结果

研究问题

• RQ1 路径积分控制能否在序列数据建模中有效用于优化变分分布？
• RQ2 采用迭代优化的半归约化推断是否相比标准归约化方法能获得更紧致的变分下界？
• RQ3 所学习的潜在动力学模型能否支持有效且多样的未来状态预测与规划？
• RQ4 在重建与预测中，引入重采样与仅使用优化相比，对模型性能有何影响？
• RQ5 控制-推断对偶性在高维序列数据中在多大程度上提升了后验近似的质量？

主要发现

• APIAE 在 mocap 数据集上实现了 -6.680 的下界，优于 FIVO（-6.687）和 IWAE（-6.683），表明变分推断更紧致。
• 在 mocap 数据集上，不使用重采样的 APIAE 取得了最佳预测性能（测试损失：-1.845），优于使用重采样的模型。
• 该模型成功重建了运动序列，可视化结果表明对步态阶段与运动模式的重建准确。
• 规划结果表明，运动路径无碰撞且自然，从同一初始姿态出发的多样化预测反映了模型所学习的不确定性。
• 该框架利用低维潜在动力学，有效探索了高维观测空间，实现高效规划。
• 实验表明，重采样对重建与下界收紧有益，但因梯度偏差在预测中效果较差，提示其最优使用应限于规划阶段。