[論文レビュー] Genetic Policy Optimization.

Tanmay Gangwani, Jian Peng|arXiv (Cornell University)|Nov 3, 2017

Machine Learning and Data Classification被引用数 8

ひとこと要約

遺伝的方策最適化（GPO）は、状態空間における模倣学習による方策クロスオーバーと、方策勾配法による突然変異を組み合わせることで、サンプル効率の高い深層強化学習のための新しい遺伝的アルゴリズムを導入する。Mujocoベンチマークタスクにおいて、最先端の方策勾配法よりも優れたパフォーマンスと高いサンプル効率を達成する。

ABSTRACT

Genetic algorithms have been widely used in many practical optimization problems. Inspired by natural selection, operators, including mutation, crossover and selection, provide effective heuristics for search and black-box optimization. However, they have not been shown useful for deep reinforcement learning, possibly due to the catastrophic consequence of parameter crossovers of neural networks. Here, we present Genetic Policy Optimization (GPO), a new genetic algorithm for sample-efficient deep policy optimization. GPO uses imitation learning for policy crossover in the state space and applies policy gradient methods for mutation. Our experiments on Mujoco tasks show that GPO as a genetic algorithm is able to provide superior performance over the state-of-the-art policy gradient methods and achieves comparable or higher sample efficiency.

研究の動機と目的

• 従来の遺伝的アルゴリズムが深層強化学習に適用される際、ニューラルネットワークのパラメータクロスオーバーによって引き起こされる不安定性の問題を解決すること。
• 遺伝的演算子と方策勾配法を統合することで、深層方策最適化におけるサンプル効率を向上させること。
• ハイブリッドな遺伝的および方策勾配フレームワークを用いて、連続的制御タスクにおける効果的な探索と活用を可能にすること。
• 遺伝的アルゴリズムがMujocoベンチマークにおいて、サンプル効率および最終パフォーマンスの面で最先端の方策勾配法を上回ることを実証すること。

提案手法

• GPOは、ニューラルネットワークのパラメータを直接クロスオーバーしないよう、状態空間における模倣学習を用いて方策クロスオーバーを実行する。
• 突然変異操作には方策勾配法を用い、安定的かつ効果的な方策更新を保証する。
• 深層方策に特化した遺伝的フレームワークにおいて、選択、クロスオーバー（状態空間における模倣を介して）、および突然変異（方策勾配を介して）を組み合わせる。
• クロスオーバーは、親方策間の状態を照合し、その状態における示された行動に基づいて子方策を生成することで実装される。
• クロスオーバー後に子方策を精練するために方策勾配を活用することで、進化過程における方策パフォーマンスの維持を図る。
• GPOはブラックボックス最適化手法として動作し、勾配計算を方策ネットワークを経由して行わず、ロールアウトとパフォーマンスフィードバックに依存する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのパラメータクロスオーバーに伴う深刻な不安定性のリスクがあるにもかかわらず、遺伝的アルゴリズムを深層強化学習に効果的に適応できるか。
• RQ2 遺伝的フレームワークにおいて模倣学習と方策勾配法を組み合わせることで、連続的制御タスクにおけるサンプル効率が向上するか。
• RQ3 Mujocoベンチマークにおいて、GPOは最先端の方策勾配法と比べて、最終パフォーマンスおよびサンプル効率の面でどのように差をつけるか。
• RQ4 直接的なパラメータクロスオーバーが不安定である場合でも、クロスオーバーや選択といった遺伝的演算子を深層方策に意味的に適用できるか。

主な発見

• GPOはMujocoベンチマークタスクにおいて、最先端の方策勾配法よりも優れたパフォーマンスを達成する。
• 従来の方策勾配ベースラインと比較して、GPOは高いサンプル効率を示し、収束に必要な環境相互作用回数を削減する。
• 模倣学習を用いたクロスオーバーにより、直接的なニューラルネットワークパラメータクロスオーバーに伴う不安定性を回避する。
• 突然変異に方策勾配法を統合することで、遺伝的演算後の安定的かつ効果的な方策改善が保証される。