[论文解读] Bayesian Optimization in Variational Latent Spaces with Dynamic Compression

Rika Antonova, Akshara Rai+2 more|arXiv (Cornell University)|Jul 10, 2019

Gaussian Processes and Bayesian Inference参考文献 40被引用 11

一句话总结

该论文提出了一种基于顺序变分自编码器（SVAE）的贝叶斯优化框架，将模拟机器人轨迹嵌入低维潜在空间，实现机器人控制器的高效超参数调优。通过根据轨迹理想度动态压缩搜索空间，该方法仅需10–20次试验即可实现优越性能，在真实硬件（Daisy六足机器人和ABB Yumi）及仿真环境中均优于基线贝叶斯优化方法。

ABSTRACT

Data-efficiency is crucial for autonomous robots to adapt to new tasks and environments. In this work we focus on robotics problems with a budget of only 10-20 trials. This is a very challenging setting even for data-efficient approaches like Bayesian optimization (BO), especially when optimizing higher-dimensional controllers. Simulated trajectories can be used to construct informed kernels for BO. However, previous work employed supervised ways of extracting low-dimensional features for these. We propose a model and architecture for a sequential variational autoencoder that embeds the space of simulated trajectories into a lower-dimensional space of latent paths in an unsupervised way. We further compress the search space for BO by reducing exploration in parts of the state space that are undesirable, without requiring explicit constraints on controller parameters. We validate our approach with hardware experiments on a Daisy hexapod robot and an ABB Yumi manipulator. We also present simulation experiments with further comparisons to several baselines on Daisy and two manipulators. Our experiments indicate the proposed trajectory-based kernel with dynamic compression can offer ultra data-efficient optimization.

研究动机与目标

• 为解决仅在10–20次试验内实现数据高效性的机器人控制挑战，该方法在传统强化学习与标准贝叶斯优化失效的场景下仍具优势。
• 通过使用无监督表征学习，消除在贝叶斯优化中对基于仿真内核的手动设计特征的依赖。
• 通过在潜在轨迹空间中动态压缩不良行为区域，提升高维控制器空间中的探索效率。
• 通过从仿真中学习具有理想度感知能力的核函数，弥合机器人策略优化中的仿真到现实差距。
• 通过单一统一架构在多种机器人任务中实现鲁棒且快速的收敛，适用于真实硬件。

提出的方法

• 在模拟轨迹上训练顺序变分自编码器（SVAE），将高维机器人状态序列嵌入低维潜在路径空间。
• SVAE联合建模条件分布 $ p(\boldsymbol{\tau}|\boldsymbol{x}) $，其中 $ \boldsymbol{x} $ 为控制器参数，$ \boldsymbol{\tau} $ 为潜在路径。
• 通过二值指标 $ G_{bad} $ 衡量轨迹理想度，标记包含碰撞、物体倾倒或工作空间越界等区域。
• 动态压缩基于理想度缩放潜在空间中的距离，从而在贝叶斯优化过程中减少对不良区域的探索。
• 由此生成的 SVAE-DC 核函数被集成至贝叶斯优化循环中，超参数（包括核函数参数）通过边缘似然在线优化。
• 该框架在真实机器人（Daisy六足机器人、ABB Yumi）和模拟机械臂（Franka Emika、Yumi）上进行了评估，使用 BoTorch 库实现可扩展的GPU加速贝叶斯优化。

实验结果

研究问题

• RQ1 通过SVAE实现的无监督表征学习是否能提升机器人控制中贝叶斯优化的数据效率？
• RQ2 基于轨迹理想度对潜在空间进行动态压缩，是否能提升低试验次数下的收敛速度与成功率？
• RQ3 SVAE-DC核函数与标准核函数（如平方指数核、BBK-KL核）相比，在仿真到现实差距下的性能与鲁棒性如何？
• RQ4 SVAE-DC架构是否能在不同机器人平台与任务中实现泛化，且仅需极少调参？
• RQ5 潜在空间维度增加是否会降低数据效率，动态压缩能否缓解此问题？

主要发现

• 在 ABB Yumi 机械臂上，SVAE-DC 在真实硬件实验中显著优于所有基线方法，成功找到了对仿真到现实差异具有鲁棒性的控制器。
• 在 Daisy 六足机器人上，该方法在少于10次真实试验内即学会行走，且始终优于使用标准核函数的无信息贝叶斯优化。
• 在仿真环境中，使用 SVAE-DC 的贝叶斯优化在 Yumi 和 Franka Emika 上均优于所有基线方法，且在每轮随机化物体属性以模拟仿真到现实偏差时，性能优势依然保持。
• 当潜在空间维度增至30D，网络宽度增至256时，SVAE-DC 仍保持性能并降低实验间的方差，表明其对核函数维度的鲁棒性。
• 马尔可夫核（Matérn核）并未持续优于平方指数核，且两者均未超越 SVAE-DC，后者在所有设置中均保持其优势。
• SVAE-DC 核函数实现了可靠的收敛，且仅需极少超参数调优，表明其在多样化机器人任务与硬件平台间具有强大泛化能力。