[論文レビュー] Do Differentiable Simulators Give Better Policy Gradients?

H. J. Terry Suh, Max Simchowitz+2 more|arXiv (Cornell University)|Feb 2, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、剛性や不連続性を有する複雑な物理系において、微分可能シミュレータが強化学習における方策勾配推定を改善するかを調査する。特に、1次（微分可能シミュレータ）と0次（確率的）勾配を組み合わせたα順勾配推定器を提案し、バイアスと分散のトレードオフを軽減することで、純粋な1次または0次手法よりも優れた局所最適解への収束を実現することを示している。

ABSTRACT

Differentiable simulators promise faster computation time for reinforcement learning by replacing zeroth-order gradient estimates of a stochastic objective with an estimate based on first-order gradients. However, it is yet unclear what factors decide the performance of the two estimators on complex landscapes that involve long-horizon planning and control on physical systems, despite the crucial relevance of this question for the utility of differentiable simulators. We show that characteristics of certain physical systems, such as stiffness or discontinuities, may compromise the efficacy of the first-order estimator, and analyze this phenomenon through the lens of bias and variance. We additionally propose an $α$-order gradient estimator, with $α\in [0,1]$, which correctly utilizes exact gradients to combine the efficiency of first-order estimates with the robustness of zero-order methods. We demonstrate the pitfalls of traditional estimators and the advantages of the $α$-order estimator on some numerical examples.

研究の動機と目的

• 微分可能シミュレータが、複雑な物理的制御タスクにおいて0次手法よりも優れた方策勾配をもたらすかを評価すること。
• 剛性や不連続性といった条件下で、理論的分散が低いにもかかわらず1次勾配推定器が失敗する理由を特定すること。
• ロボット工学や物理シミュレーションで一般的な非滑らかで確率的なランドスケープにおいて、1次および0次推定器のバイアス-分散トレードオフを分析すること。
• 1次および0次勾配の間を補間する統一的なα順勾配推定器を提案し、ロバスト性と効率性を実現すること。
• 数値実験を通じて、α順推定器が、困難な物理環境において純粋な推定器よりも優れた局所最適解に収束することを実証すること。

提案手法

• α順勾配推定器を提案：$\alpha \bar{\nabla}^{[1]}F(\boldsymbol{\theta}) + (1 - \alpha) \bar{\nabla}^{[0]}F(\boldsymbol{\theta})$ で、$\alpha \in [0,1]$ が微分可能シミュレータから得られる正確な1次勾配と、モンテカルロサンプリングによる0次勾配推定値を混合する。
• 不連続性や剛性動的系の存在下での両推定器のバイアスと分散を分析し、1次推定器が不連続性によりバイアスを持つようになる一方、0次推定器は不変のままであることを示す。
• 非有界ノイズに対処するための実効的分散とヒューリスティックなバウンディング $R$ を用いた、ベクトル値勾配に適応した行列ベルヌーイの不等式に基づく信頼区間推定を導入する。
• 接触ダイナミクスを含む数値例（跳ねるボール、ピボットバーなど）に対してα順推定器を実証的に評価し、収束性と解の質を比較する。
• ランダム化スムージングを用いて、スムージングされた確率的代理目的関数を構築し、非滑らか系における探索性とロバスト性を向上させる。
• α順推定器が、不連続性や剛性によって引き起こされる悪質な局所最適解を回避できることを示し、これは純粋な1次手法が直面する問題である。

実験結果

リサーチクエスチョン

• RQ1 剛性や不連続性といった物理的システムの特性が、理論的分散が低いにもかかわらず微分可能シミュレータからの1次勾配推定器を失敗させる条件は何か？
• RQ2 非滑らかで長時間スケールの制御問題において、1次と0次勾配推定器のバイアス-分散トレードオフはどのように現れるか？
• RQ3 ハイブリッドなα順勾配推定器は、純粋な1次および0次手法よりも、より優れた局所最適解への収束において優れていると示せるか？
• RQ4 ランダム化スムージングの使用は、接触や非滑らかダイナミクスを有するシステムにおける方策勾配最適化のロバスト性を向上させるか？
• RQ5 αの選択は、複雑な物理環境における収束速度と解の質のトレードオフにどのように影響を与えるか？

主な発見

• 微分可能シミュレータからの1次勾配推定器は、不連続性や剛性動的系が存在する場合でさえ、元の関数が連続であってもバイアスを持つことがある。
• 0次推定器は不連続性下でも不偏のままであるが、勾配が消える平坦領域では高い分散を示す。
• α順推定器はバイアスと分散をうまくバランスさせ、数値例において純粋な推定器よりも優れた局所最適解への収束を実現した。
• 非弾性衝突に起因する接触由来の不連続性を持つシステムでは、α順推定器が1次手法が陥りがちな悪質な局所最適解を回避できた。
• α順推定器は、ゼロ次手法がノイズが多すぎて不適切で、1次手法が不連続性にだまされるピボットバー系における運動量移動の最大化といった問題で、より優れたロバスト性と性能を示した。
• 実効的分散とヒューリスティックなバウンディング $R$ を用いた、行列ベルヌーイ不等式に基づく実証的信頼区間推定は、勾配推定器の不確実性推定として実用的かつ効果的であることを示した。