[論文レビュー] Model-Predictive Control via Cross-Entropy and Gradient-Based Optimization

Homanga Bharadhwaj, Kevin Xie+1 more|arXiv (Cornell University)|Apr 19, 2020

Reinforcement Learning in Robotics参考文献 20被引用数 12

ひとこと要約

本稿では、高次元の行動空間におけるモデル予測制御を改善するために、交差エントロピー法（CEM）と勾配ベース最適化を交互に実行するハイブリッド計画手法GradCEMを提案する。CEMのグローバルサーチ能力と勾配降下法の高速収束性を組み合わせることで、最適化がより速くなり、局所的最適解を回避でき、多極性問題においてCEMの性能を上回るか同等の性能を達成する。

ABSTRACT

Recent works in high-dimensional model-predictive control and model-based reinforcement learning with learned dynamics and reward models have resorted to population-based optimization methods, such as the Cross-Entropy Method (CEM), for planning a sequence of actions. To decide on an action to take, CEM conducts a search for the action sequence with the highest return according to the dynamics model and reward. Action sequences are typically randomly sampled from an unconditional Gaussian distribution and evaluated on the environment. This distribution is iteratively updated towards action sequences with higher returns. However, this planning method can be very inefficient, especially for high-dimensional action spaces. An alternative line of approaches optimize action sequences directly via gradient descent, but are prone to local optima. We propose a method to solve this planning problem by interleaving CEM and gradient descent steps in optimizing the action sequence. Our experiments show faster convergence of the proposed hybrid approach, even for high-dimensional action spaces, avoidance of local minima, and better or equal performance to CEM. Code accompanying the paper is available here https://github.com/homangab/gradcem.

研究の動機と目的

• 高次元の行動空間における純粋な交差エントロピー法（CEM）の非効率性（勾配の指導致しないランダムサンプリングによるもの）を解消する。
• 非凸的で高次元の制御タスクにおいて、純粋な勾配ベース計画法に内在する局所的最適解問題を克服する。
• CEMのグローバル探索能力と勾配降下法の高速収束性を組み合わせた、スケーラブルで頑健な計画フレームワークを開発する。
• 微分可能なダイナミクスモデルと報酬モデルを用いて、モデルベース強化学習における有効な計画を可能にする。
• 複雑なロボット制御設定における、集団ベースまたは完全に勾配ベースの計画法に対する実用的で効率的な代替手段を提供する。

提案手法

• CEMと勾配降下法のステップを交互に実行：勾配降下法で行動系列を最適化し、その後、最も高い性能を示した系列を用いてCEMのサンプリング分布を更新する。
• 行動系列上に時間的に変化するガウス分布を維持し、初期段階ではランダムサンプルで初期化し、上位K個の軌道を用いてCEMにより繰り返し更新する。
• バックプロパゲーションを用いて、学習済みのダイナミクスモデルと報酬モデルを介して、行動に対する累積報酬の勾配を計算することで、勾配ベース最適化を行動系列の最適化に適用する。
• 更新されたCEM分布を用いて勾配降下法のプロセスを再初期化することで、局所的最適解からの脱出を可能にする。
• 反復的更新により行動系列を最適化する：$\bar{a}_{0:H}^{(k)} := \bar{a}_{0:H}^{(k-1)} + \alpha \nabla_{\bar{a}} \bar{R}(\bar{a}_{0:H}^{(k-1)}, \bar{s}_{0:H}^{(k-1)})$。
• 微分可能なモデルを活用して勾配を効率的に計算し、高次元連続制御におけるスケーラブルな最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 CEMと勾配降下法を交互に実行することで、高次元のモデル予測制御における収束速度が向上するか？
• RQ2 非凸的計画問題において、ハイブリッド手法が純粋なCEMよりも局所的最適解を効果的に回避できるか？
• RQ3 モデルバイアスや初期化の不備が存在する状況下でも、CEMによる定期的な再初期化によって勾配ベース最適化が安定化・強化されるか？
• RQ4 従来の計画ベースラインと比較して、複雑な高次元ロボット制御タスクへのスケーラビリティはどの程度か？
• RQ5 多極性環境において、ハイブリッド手法はサンプル効率性や最終的な性能を維持または向上できるか？

主な発見

• 提案されたGradCEM手法は、連続制御ベンチマークを通じて、高次元の行動空間において純粋なCEMよりも高速な収束を達成していることが実証された。
• GradCEMは、複数の報酬ピークを持つ環境において、通常は純粋な勾配ベース計画法が陥りがちな局所的最適解を効果的に回避した。
• 多極性問題において、GradCEMはCEMと同等またはそれ以上の性能を達成しており、同時に勾配ベース手法の収束速度を維持している。
• CEMのグローバルサーチ能力を活用することで、モデルバイアスや不完全なダイナミクスモデルに対しても、勾配降下法の性能が頑健に保たれている。
• 実験的結果から、CEMと勾配降下法を交互に実行することで、単独で用いる場合よりも安定的かつ効果的な計画が実現されることが示された。
• 本手法は、高次元連続制御タスクに対しても効果的にスケーリングでき、最適化速度および解の品質の両面で、純粋なCEMおよび勾配のみのベースラインを上回った。