[论文解读] Bayesian Optimization Meets Riemannian Manifolds in Robot Learning

Noémie Jaquier, Leonel Rozo+2 more|arXiv (Cornell University)|Oct 11, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用 11

一句话总结

本文提出几何感知贝叶斯优化（GaBO），一种将黎曼流形理论融入贝叶斯优化的框架，以提升机器人学习中的数据效率和收敛性。通过使用几何感知核函数和黎曼优化方法求解采集函数，GaBO在收敛速度、精度和方差减少方面优于标准欧几里得贝叶斯优化，尤其在高维非欧几里得参数空间（如姿态和刚度矩阵）中表现更优。

ABSTRACT

Bayesian optimization (BO) recently became popular in robotics to optimize control parameters and parametric policies in direct reinforcement learning due to its data efficiency and gradient-free approach. However, its performance may be seriously compromised when the parameter space is high-dimensional. A way to tackle this problem is to introduce domain knowledge into the BO framework. We propose to exploit the geometry of non-Euclidean parameter spaces, which often arise in robotics (e.g. orientation, stiffness matrix). Our approach, built on Riemannian manifold theory, allows BO to properly measure similarities in the parameter space through geometry-aware kernel functions and to optimize the acquisition function on the manifold as an unconstrained problem. We test our approach in several benchmark artificial landscapes and using a 7-DOF simulated robot to learn orientation and impedance parameters for manipulation skills.

研究动机与目标

• 解决贝叶斯优化（BO）在机器人中常见的高维、非欧几里得参数空间中性能下降的问题。
• 克服标准BO依赖欧几里得假设的局限性，后者无法捕捉机器人参数空间的内在几何结构。
• 将特定领域的几何知识——特别是黎曼流形结构——整合到BO框架中，以提升泛化能力和优化效率。
• 开发一种可扩展的、与任务无关的几何感知BO方法，使其在无需任务特定核函数设计的情况下，泛化于多种机器人控制任务。
• 在基准测试函数和涉及姿态与阻抗参数的模拟机器人操作任务中，验证该框架的有效性。

提出的方法

• 提出几何感知核函数，利用测地线距离而非欧几里得距离来计算黎曼流形上参数之间的相似性。
• 利用黎曼流形工具，通过黎曼优化技术将采集函数的优化问题转化为无约束问题。
• 应用具有黎曼核函数的高斯过程（GPs）来建模代价函数，实现在非欧几里得空间中的精确函数逼近。
• 采用黎曼信赖域方法来公式化采集函数的优化，以在探索过程中尊重流形的内在几何结构。
• 将该框架集成到直接强化学习流程中，用于机器人策略优化，同时保持数据效率与安全性。
• 使用流形特定的参数化方式（如SO(3)使用四元数，刚度使用对称正定矩阵）以确保物理一致性和几何保真度。

实验结果

研究问题

• RQ1 几何感知贝叶斯优化能否在高维、非欧几里得机器人参数空间中提升收敛性和精度？
• RQ2 将黎曼流形结构整合到核函数中，对高斯过程模型在BO中的泛化能力和性能有何影响？
• RQ3 与欧几里得BO相比，对采集函数采用黎曼优化在降低方差和加速收敛方面能达到何种程度？
• RQ4 与标准BO及基于Cholesky分解的替代方法相比，GaBO在参数流形维度增加时的可扩展性如何？
• RQ5 GaBO能否在无需任务特定核函数设计的前提下，有效应用于涉及姿态与阻抗参数的真实机器人控制任务？

主要发现

• 在所有基准函数和机器人任务中，GaBO均实现了比标准欧几里得BO更快的收敛速度和更低的解方差。
• 在3-球面流形（S³）上，GaBO在30次试验中均收敛至接近零代价的解，且方差显著低于欧几里得BO。
• 在2D与3D对称正定流形（S²₊与S³₊）上，GaBO优于欧几里得BO和基于Cholesky的BO，且随着维度增加优势更加明显。
• 在7自由度机器人刚度矩阵优化任务中，GaBO实现了更低的总代价和更优的跟踪性能，同时减少了扭矩使用，证明其在真实机器人控制场景中的鲁棒性。
• 随着流形维度的增加，GaBO与欧几里得BO之间的性能差距进一步扩大，证实了几何感知建模的可扩展优势。
• 在高维非欧几里得空间（如3×3对称正定矩阵）中，GaBO仍能保持一致且精确的优化性能，而标准BO则无法可靠收敛。