[論文レビュー] Training Diverse High-Dimensional Controllers by Scaling Covariance Matrix Adaptation MAP-Annealing

Bryon Tjanaka, Matthew C. Fontaine+3 more|arXiv (Cornell University)|Oct 6, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、ロボット歩行のための多様で高次元なニューラルネットワークコントローラーの効率的トレーニングを可能にする、Covariance Matrix Adaptation MAP-Annealing (CMA-MAE) のスケーラブルな変種を提案する。CMA-ES の二次的時間計算量を、スパースで効率的な近似に置き換えることで、深層強化学習ベースのベースラインと比較して、トレーニング時間を著しく短縮するとともに、ハイパーパrameterへの感受性が低く、ロボット歩行タスクにおける品質多様性性能を最先端水準にまで向上させた。

ABSTRACT

Pre-training a diverse set of neural network controllers in simulation has enabled robots to adapt online to damage in robot locomotion tasks. However, finding diverse, high-performing controllers requires expensive network training and extensive tuning of a large number of hyperparameters. On the other hand, Covariance Matrix Adaptation MAP-Annealing (CMA-MAE), an evolution strategies (ES)-based quality diversity algorithm, does not have these limitations and has achieved state-of-the-art performance on standard QD benchmarks. However, CMA-MAE cannot scale to modern neural network controllers due to its quadratic complexity. We leverage efficient approximation methods in ES to propose three new CMA-MAE variants that scale to high dimensions. Our experiments show that the variants outperform ES-based baselines in benchmark robotic locomotion tasks, while being comparable with or exceeding state-of-the-art deep reinforcement learning-based quality diversity algorithms.

研究の動機と目的

• 限られた計算リソース予算の中で、多様で高性能なニューラルネットワークコントローラーをロボット歩行タスクにトレーニングする課題に対処すること。
• CMA-MAE の二次的時間計算量（O(n²)）が、数千～数百万パラメータを持つ高次元コントローラーへのスケーラビリティを制限する問題を克服すること。
• ロボット制御のための、深層強化学習に基づく品質多様性アルゴリズムの代替として、効率的かつハイパーパrameterが少ない手法を開発すること。
• トレーニング時間と計算負荷を低減することで、品質多様性アルゴリズムを実世界のロボティクスに実用化可能にする。
• 進化戦略に基づく手法が、深層強化学習ベースの QD アルゴリズムと同等またはそれを上回る性能を達成しつつ、より効率的かつ調整が簡単であることを示すこと。

提案手法

• CMA-ES のフルランク共分散行列を、時間計算量を O(n²) から O(n) に削減するスパースで低ランクの近似に置き換える、3つの新しい CMA-MAE 変種を提案。
• CMA-MAE フレームワークのコアを維持：平均 φ* と近似共分散行列 Σ̃ を持つガウス的探索分布を用い、進化戦略のフィードバックにより更新。
• 測定空間における探索と目的関数最適化のバランスを取るために、セル固有の閾値と改善フィードバック Δi を持つソフトアーカイブを統合。
• 探索と活用のトレードオフを制御するための単一のハイパーパrameter α ∈ [0,1] を使用し、元の CMA-MAE と同様の挙動を実現。
• バックプロパゲーションやネットワークトレーニングを回避するため、関数評価のみを用いて自然勾配更新を効率的に推定。
• シミュレーテッド環境を用いてロボット歩行タスクに本手法を適用し、QD スコアおよびコントローラー多様性指標を用いて性能を評価。

Figure 1: We propose variants of the CMA - MAE algorithm that scale to high-dimensional controllers. The variants maintain a Gaussian search distribution with mean ${\bm{\phi}}^{*}$ and approximate covariance matrix $\tilde{{\bm{\Sigma}}}$ . Solutions ${\bm{\phi}}_{i}$ sampled from the Gaussian are

実験結果

リサーチクエスチョン

• RQ1 CMA-MAE は、現代のロボット歩行タスクで使用される高次元ニューラルネットワークコントローラーにスケーラブルに適用可能か？
• RQ2 CMA-MAE 変種におけるスパース共分散近似は、計算複雑性を低減しつつ、性能を維持または向上させるか？
• RQ3 提案された CMA-MAE 変種は、PGA-ME や CMA-MEGA (TD3, ES) といった最先端の深層強化学習ベースの品質多様性アルゴリズムと比較して、どのように性能を発揮するか？
• RQ4 提案された変種は、CMA-ES の低ハイパーパrameter感受性をどれほど引き継いでいるか？
• RQ5 適応的学習率 α を持つソフトアーカイブ機構は、高次元コントローラー探索において、探索と活用のバランスを効果的にとっているか？

主な発見

• 提案された CMA-MAE 変種は、標準的なロボット歩行ベンチマークにおいて、すべての ES ベースのベースラインを上回り、QD Ant、Half-Cheetah、Hopper、Walker タスクで高い QD スコアを達成した。
• 4 つのタスクのうち 3 つ（QD Ant、Half-Cheetah、Hopper）において、最先端の深層強化学習ベースの PGA-ME アルゴリズムと同等またはそれを上回った。Half-Cheetah タスクでは QD スコアが最大 2.939×10⁶ を記録した。
• PGA-ME や CMA-MEGA (TD3, ES) と比較して、2 倍以上の高速化が達成され、主に深層強化学習のトレーニングループを回避したことに起因する。
• アブレーションスタディの結果、中間的な α 値（例：α=0.001）が最適な性能を発揮することが確認され、極端な値（α=0 または α=1）では探索や活用に偏った動作により性能が低下した。
• すべての手法においてアーカイブがメモリ使用量の主因であるが、リプレイバッファを備えないため、TD3 に基づく手法と比較して CMA-MAE 変種はより少ないメモリを要した。
• 変種は低ハイパーパラメータ感受性を維持しており、深層強化学習ベースの手法（15–18 パrameter）と比較して、わずか 5 パラメータ（ψ, λ, σ, α, min_f）で十分である。