[論文レビュー] ES-ENAS: Combining Evolution Strategies with Neural Architecture Search at No Extra Cost for Reinforcement Learning.

Xingyou Song, Krzysztof Choromański+8 more|arXiv (Cornell University)|Jan 19, 2021

Reinforcement Learning in Robotics参考文献 49被引用数 9

ひとこと要約

ES-ENAS は、進化戦略（ES）と効率的NAS（ENAS）を統合することで、強化学習における新しいNAS手法を提案する。ESの中央集約者にコントローラーを挿入することにより、追加コストなしに重み共有を実現する。この手法により、連続的制御タスクで90%を超えるモデル圧縮が達成され、リソース制約のあるモバイルロボティクスプラットフォームへの効率的なデプロイが可能になる。

ABSTRACT

We introduce ES-ENAS, a simple neural architecture search (NAS) algorithm for the purpose of reinforcement learning (RL) policy design, by combining Evolutionary Strategies (ES) and Efficient NAS (ENAS) in a highly scalable and intuitive way. Our main insight is noticing that ES is already a distributed blackbox algorithm, and thus we may simply insert a model controller from ENAS into the central aggregator in ES and obtain weight sharing properties for free. By doing so, we bridge the gap from NAS research in supervised learning settings to the reinforcement learning scenario through this relatively simple marriage between two different lines of research, and are one of the first to apply controller-based NAS techniques to RL. We demonstrate the utility of our method by training combinatorial neural network architectures for RL problems in continuous control, via edge pruning and weight sharing. We also incorporate a wide variety of popular techniques from modern NAS literature, including multiobjective optimization and varying controller methods, to showcase their promise in the RL field and discuss possible extensions. We achieve >90% network compression for multiple tasks, which may be special interest in mobile robotics with limited storage and computational resources.

研究の動機と目的

• 教師あり学習におけるNASと強化学習のギャップを埋めるために、コントローラーに基づくNASを強化学習設定に適応すること。
• 分散型の進化戦略の性質を活かして、重み共有を活用することで、強化学習における効率的なニューラルアーキテクチャ探索を可能にすること。
• モバイルおよびリソース制限のあるロボットシステムへのデプロイを支援するため、強化学習ポリシーにおける顕著なモデル圧縮を達成すること。
• 多目的最適化やさまざまなコントローラー手法といった現代のNAS技術を強化学習内に統合することの検討。
• 進化戦略とENASを組み合わせることで、連続的制御における組み合わせ的アーキテクチャの学習が可能であることを実証し、スケーラビリティを示すこと。

提案手法

• ENASのコントローラーを進化戦略の中央集約者に統合し、追加の計算コストなしに重み共有を可能にする。
• ESの分散的・ブラックボックス型の性質を基盤とし、コントローラーを介して自然にアーキテクチャ探索を統合する。
• エッジのプルーニングと重み共有を用いて、連続的制御タスクに最適化された組み合わせ的ニューラルネットワークアーキテクチャを訓練する。
• 強化学習の文脈に適応するため、多目的最適化や多様なコントローラー構造といった現代のNAS技術を適応する。
• ESの本質的なスケーラビリティを活かして、大規模な探索空間を効率的に学習・探索する。
• コントローラー統合によってアーキテクチャ探索機能を導入しながらも、ESのシンプルさと並列性を維持する。

実験結果

リサーチクエスチョン

• RQ1 進化戦略は、最小限のオーバーヘッドで強化学習におけるニューラルアーキテクチャ探索を効果的に拡張できるか？
• RQ2 ESベースの強化学習学習に、追加の計算コストを負担せずに重み共有を自然に組み込む方法は何か？
• RQ3 教師あり学習で開発されたコントローラーに基づくNAS技術は、強化学習にどの程度適応可能か？
• RQ4 提案されたES-ENASフレームワークを用いることで、強化学習ポリシーにおけるどの程度のモデル圧縮が達成できるか？
• RQ5 多目的最適化や多様なコントローラーといった現代のNAS技術は、強化学習におけるアーキテクチャ探索に適用した場合、どの程度の性能を示すか？

主な発見

• ES-ENAS は、ES と ENAS を統合することで、組み込み型の重み共有により、強化学習における効果的なニューラルアーキテクチャ探索を実現し、顕著な効率向上を達成する。
• 本手法により、連続的制御タスクにおけるニューラルネットワークアーキテクチャの90%を超える圧縮が達成され、モデルサイズと計算要求が著しく削減される。
• ENAS風のコントローラーをESに統合することはシームレスであり、追加コストを発生させない。これにより、元のESフレームワークのスケーラビリティが保たれる。
• 本アプローチは、多目的最適化や多様なコントローラー設計といった高度なNAS技術を強化学習環境に適用可能にする。
• 本フレームワークは、ストレージや計算リソースが制限されるモバイルロボティクス分野へのデプロイに強く適している。
• 結果から、教師あり学習から強化学習へのコントローラーに基づくNASの移行が、最小限の修正で成功裏に実現可能であることが示された。