[论文解读] Rethinking Optimization with Differentiable Simulation from a Global Perspective

Rika Antonova, Jingyun Yang+2 more|arXiv (Cornell University)|Jun 28, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种混合全局优化方法，结合贝叶斯优化与半局部基于梯度的‘跃迁’策略，以克服可微分模拟中可变形物体和流体的崎岖损失景观。该方法在模拟和真实世界机器人-织物交互任务中均优于基于梯度和无梯度的基线方法，表明即使在可微分模拟器中，有效的全局搜索也至关重要。

ABSTRACT

Differentiable simulation is a promising toolkit for fast gradient-based policy optimization and system identification. However, existing approaches to differentiable simulation have largely tackled scenarios where obtaining smooth gradients has been relatively easy, such as systems with mostly smooth dynamics. In this work, we study the challenges that differentiable simulation presents when it is not feasible to expect that a single descent reaches a global optimum, which is often a problem in contact-rich scenarios. We analyze the optimization landscapes of diverse scenarios that contain both rigid bodies and deformable objects. In dynamic environments with highly deformable objects and fluids, differentiable simulators produce rugged landscapes with nonetheless useful gradients in some parts of the space. We propose a method that combines Bayesian optimization with semi-local 'leaps' to obtain a global search method that can use gradients effectively, while also maintaining robust performance in regions with noisy gradients. We show that our approach outperforms several gradient-based and gradient-free baselines on an extensive set of experiments in simulation, and also validate the method using experiments with a real robot and deformables. Videos and supplementary materials are available at https://tinyurl.com/globdiff

研究动机与目标

• 研究在接触丰富、可变形系统中可微分模拟的局限性，其中平滑梯度无法保证。
• 分析涉及刚体、软材料、塑料和流体的可微分模拟器的优化景观。
• 通过开发稳健的全局优化框架，解决可微分模拟中的局部最优解和噪声梯度问题。
• 在模拟环境和真实世界机器人操作可变形物体的任务中验证所提出方法。
• 证明仅使用基于梯度的方法在复杂基于模拟的优化中是不够的，必须采用全局搜索策略。

提出的方法

• 该方法结合贝叶斯优化（BO）与一种半局部搜索策略，利用梯度在参数空间的有希望区域进行有针对性的‘跃迁’。
• 在BO中使用高斯过程模型，以在整个搜索空间中保持对损失函数的全局不确定性感知代理模型。
• 在贝叶斯优化循环中使用置信下界（LCB）获取函数，α = 1.0，以平衡探索与利用。
• 采用精确高斯过程对成本函数进行建模，实验中其性能优于近似变体。
• 该方法整合来自可微分模拟器（如Warp、Nimble、DiffTaichi）的梯度信息，以在每次BO查询后指导局部优化。
• 该框架在多种模拟环境中进行了评估，包括织物、橡皮泥、流体以及多物体操作任务。

实验结果

研究问题

• RQ1 在模拟可变形物体和流体时，可微分模拟器的优化景观有多崎岖？
• RQ2 在接触丰富或高度可变形的场景中，可微分模拟器的梯度在多大程度上仍具实用性？
• RQ3 混合全局优化策略能否有效利用梯度，同时克服局部最优解和噪声梯度区域？
• RQ4 在模拟和真实世界环境中，该方法与纯基于梯度或无梯度的基线方法相比表现如何？
• RQ5 可微分模拟对复杂、非光滑环境中的系统辨识和策略优化有何影响？

主要发现

• 可变形和流体模拟的优化景观极为崎岖，即使存在梯度，也存在大量局部最优解和平台区域。
• 可微分模拟器的梯度在参数空间的某些区域仍具实用性，但在接触丰富或高度可变形的场景中常不可靠或存在噪声。
• 所提出的混合方法在广泛的模拟环境中均优于多种基于梯度和无梯度的基线方法，包括10D、30D和90D参数空间。
• 该方法在真实世界实验中成功实现了系统辨识，机器人操作织物时的模拟行为与真实观测结果高度匹配。
• 精确高斯过程在贝叶斯优化中优于近似变体，且LCB获取函数提供了稳定且有效的探索。
• 基于粒子的DiffTaichi模拟环境和流体模拟需要显著更多的计算资源（例如，1,000个episode约需2小时），凸显了计算权衡。