[论文解读] Do Differentiable Simulators Give Better Policy Gradients?

H. J. Terry Suh, Max Simchowitz+2 more|arXiv (Cornell University)|Feb 2, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文研究了可微分模拟器是否能改善强化学习中复杂物理系统（特别是具有刚性或不连续性的情况）的策略梯度估计。提出了一种 α 阶梯度估计器，该估计器结合了一阶（可微分模拟器）和零阶（随机）梯度，表明其能减少偏差与方差之间的权衡，从而相较于纯一阶或零阶方法，实现对更优局部极小值的更好收敛。

ABSTRACT

Differentiable simulators promise faster computation time for reinforcement learning by replacing zeroth-order gradient estimates of a stochastic objective with an estimate based on first-order gradients. However, it is yet unclear what factors decide the performance of the two estimators on complex landscapes that involve long-horizon planning and control on physical systems, despite the crucial relevance of this question for the utility of differentiable simulators. We show that characteristics of certain physical systems, such as stiffness or discontinuities, may compromise the efficacy of the first-order estimator, and analyze this phenomenon through the lens of bias and variance. We additionally propose an $α$-order gradient estimator, with $α\in [0,1]$, which correctly utilizes exact gradients to combine the efficiency of first-order estimates with the robustness of zero-order methods. We demonstrate the pitfalls of traditional estimators and the advantages of the $α$-order estimator on some numerical examples.

研究动机与目标

• 评估可微分模拟器在复杂物理控制任务中是否能提供优于零阶方法的策略梯度。
• 识别在刚性或不连续性等条件下，尽管理论方差较低，一阶梯度估计器仍会失效的情形。
• 分析在机器人和物理模拟中常见的非光滑、随机景观中，一阶与零阶估计器之间的偏差-方差权衡。
• 提出一种统一的 α 阶梯度估计器，通过在一阶与零阶梯度之间插值，实现鲁棒性与效率。
• 通过实证结果证明，α 阶估计器在具有挑战性的物理环境中，相较于纯一阶或零阶估计器，能收敛到更优的局部极小值。

提出的方法

• 提出 α 阶梯度估计器：$\alpha \bar{\nabla}^{[1]}F(\boldsymbol{\theta}) + (1 - \alpha) \bar{\nabla}^{[0]}F(\boldsymbol{\theta})$，其中 $\alpha \in [0,1]$ 用于混合来自可微分模拟器的精确一阶梯度与通过蒙特卡洛采样获得的零阶梯度估计。
• 分析在存在不连续性和刚性动力学时，两种估计器的偏差与方差，表明一阶估计器会变得有偏，而零阶估计器保持无偏。
• 引入一种置信区间估计方法，使用针对向量值梯度改进的经验伯恩斯坦不等式，结合经验方差与启发式边界 $R$，以处理无界噪声。
• 在涉及接触动力学的数值示例（如弹跳小球和摆动杆）中，实证评估 α 阶估计器的收敛性与解的质量。
• 使用随机平滑技术构建一个随机代理目标，以正则化景观，从而在非光滑系统中实现更好的探索与鲁棒性。
• 证明 α 阶估计器可避免由不连续性和刚性导致的、会困住纯一阶方法的不良局部极小值。

实验结果

研究问题

• RQ1 在何种物理系统特性（如刚性、不连续性）下，尽管方差较低，可微分模拟器的一阶梯度估计器仍会失效？
• RQ2 在一阶与零阶梯度估计器之间，偏差-方差权衡在非光滑、长时程控制问题中如何体现？
• RQ3 混合的 α 阶梯度估计器是否能在收敛至更优局部极小值方面超越纯一阶与零阶方法？
• RQ4 使用随机平滑是否能提升在具有接触与非光滑动力学系统中策略梯度优化的鲁棒性？
• RQ5 在复杂物理环境中，α 的选择如何影响收敛速度与解质量之间的权衡？

主要发现

• 即使底层函数是连续的，可微分模拟器的一阶梯度估计器在存在不连续性或刚性动力学时也可能产生偏差。
• 零阶估计器在不连续性下保持无偏，但在梯度消失的平坦区域会因高方差而表现不佳。
• α 阶估计器成功平衡了偏差与方差，在数值示例中收敛至优于任一纯估计器的更优局部极小值。
• 在由接触引起的不连续性系统中（如完全非弹性碰撞），α 阶估计器可避免一阶方法易陷入的不良局部极小值。
• α 阶估计器在最大化摆动杆系统中动量传递等问题中表现出更优的鲁棒性与性能，其中零阶方法噪声过大，而一阶方法易受不连续性误导。
• 基于矩阵伯恩斯坦不等式的经验置信区间（结合经验方差与启发式边界 $R$）为梯度估计器提供了实用且有效的不确定性估计。