[論文レビュー] Sample-efficient Cross-Entropy Method for Real-time Planning

Cristina Pinneri, Shambhuraj Sawant+5 more|arXiv (Cornell University)|Aug 14, 2020

Advanced Control Systems Optimization参考文献 2被引用数 25

ひとこと要約

本稿では、モデルベース強化学習におけるサンプル効率の高いリアルタイム軌道最適化のため、iCEMを提案する。時間的に相関のあるアクションを色付きノイズを用いて導入し、エリート保持による記憶機能を統合し、適応的平均アクション注入を実装することで、標準的なCEMに比べてサンプル数を2.7–22倍削減し、Humanoid Standup や Relocate などの高次元制御タスクで性能を1.2–10倍向上させた。

ABSTRACT

Trajectory optimizers for model-based reinforcement learning, such as the Cross-Entropy Method (CEM), can yield compelling results even in high-dimensional control tasks and sparse-reward environments. However, their sampling inefficiency prevents them from being used for real-time planning and control. We propose an improved version of the CEM algorithm for fast planning, with novel additions including temporally-correlated actions and memory, requiring 2.7-22x less samples and yielding a performance increase of 1.2-10x in high-dimensional control problems.

研究の動機と目的

• CEMのような集団ベースの軌道最適化手法に伴う高いサンプリングコストを軽減し、リアルタイムロボット制御への応用を可能にすること。
• 高次元アクション空間において、サンプリングの必要性がリアルタイムデプロイメントを困難にする標準CEMの非効率性を克服すること。
• 勾配情報が不要なゼロ次最適化手法を用いて、サンプル効率を向上させることで、実用的なリアルタイム計画を可能にすること。
• スパースリワードを伴う多様なロボット制御タスクに普遍的かつモジュラーに適用可能なCEMの統一的拡張を設計すること。
• iCEMが、真値の動的モデルおよび学習済み動的モデルの両方と組み合わせて使用可能であり、性能の低下なしにオンライン計画が可能であることを実証すること。

提案手法

• 1/f^β のパワー法則スペクトルを持つ色付きノイズを用いて、時間的に相関のあるアクションシーケンスを導入し、軌道探索の効率を向上させる。
• イテレーション間でエリートを保持する記憶機構を実装し、高パフォーマンスなアクションシーケンスを保存することで収束を加速する。
• 最終イテレーションでのみ適応的平均アクション注入を導入し、収束の早期化バイアスを防ぎつつ性能を維持する。
• 減衰係数 α=0.1 とスケーリング係数 β=1.25 を用いたモーメンタムベースの平均アクション更新を適用し、学習の安定化を図る。
• 全共分散行列の計算を回避するため、適応的分散減衰を伴う対角共分散行列を用いることで、計算コストを低減する。
• すべての改善をiCEMフレームワークに統合し、既存のMBRLパイプラインに標準CEMの即時置き換えが可能となるように設計する。

実験結果

リサーチクエスチョン

• RQ1 CEMは、高次元制御タスクにおけるリアルタイムロボット計画に十分なサンプル効率を達成できるか？
• RQ2 時間的に相関のあるアクションと記憶メカニズムは、軌道最適化における収束速度とパフォーマンスにどのように影響を与えるか？
• RQ3 CEMプロセスの異なる段階で平均アクションを注入した場合、最終的なパフォーマンスと安定性にどのような影響を与えるか？
• RQ4 微調整なしに、PlaNetから得た学習済みモデルと組み合わせた場合、iCEMはどの程度の性能を維持できるか？
• RQ5 Humanoid Standup や Relocate のような多様な環境において、iCEMのどのコンponentsがパフォーマンス向上に最も寄与しているか？

主な発見

• Relocate環境において、iCEMは標準CEMに比べて13.7倍のサンプル削減を達成し、90%の成功率を達成した。
• Humanoid Standupタスクでは、同じサンプル予算下で、iCEMは最先端のCEMに比べてパフォーマンスを400%向上させた。
• アブレーションスタディの結果、色付きノイズとエリート保持はFetch Pick&Placeで最も効果的であり、平均注入は高次元マニピュレーションタスクにおいて不可欠であることが判明した。
• PlaNetから得た学習済みモデルと組み合わせても、iCEMは強いパフォーマンスを維持し、追加の微調整なしにオンライン計画が可能である。
• 全評価環境において、iCEMは2.7–22倍のサンプリング要件削減を達成し、一貫した効率性の向上を示した。
• 複数のランダムシードにおいても性能向上が安定しており、3回の独立した学習実験において、成功確率とリターンに一貫した向上が確認された。