[論文レビュー] Policy Optimization by Genetic Distillation

Tanmay Gangwani, Jian Peng|arXiv (Cornell University)|Nov 3, 2017

Metaheuristic Optimization Algorithms Research被引用数 11

ひとこと要約

この論文は、サンプル効率の高い深層強化学習のための新しい遺伝的アルゴリズムである遺伝的ポリシー最適化（GPO）を紹介する。GPOは、模倣学習を用いて状態空間における有効なポリシークロスオーバーを可能にし、突然変異にポリシー勾配法を用いることで、MuJoCoの移動タスクにおいて最先端のポリシー勾配法よりも優れたパフォーマンスと高いサンプル効率を達成する。

ABSTRACT

Genetic algorithms have been widely used in many practical optimization problems. Inspired by natural selection, operators, including mutation, crossover and selection, provide effective heuristics for search and black-box optimization. However, they have not been shown useful for deep reinforcement learning, possibly due to the catastrophic consequence of parameter crossovers of neural networks. Here, we present Genetic Policy Optimization (GPO), a new genetic algorithm for sample-efficient deep policy optimization. GPO uses imitation learning for policy crossover in the state space and applies policy gradient methods for mutation. Our experiments on MuJoCo tasks show that GPO as a genetic algorithm is able to provide superior performance over the state-of-the-art policy gradient methods and achieves comparable or higher sample efficiency.

研究の動機と目的

• パラメータ空間におけるクロスオーバーがニューラルネットワークの性能を著しく劣化させるという深層強化学習への遺伝的アルゴリズムの適用の課題に対処すること。
• 進化的探索と勾配ベースの学習を組み合わせることで、深層ポリシー最適化におけるサンプル効率を向上させること。
• パラメータ空間ではなく状態空間で動作させることで、ポリシー性能を保持するクロスオーバー機構を設計すること。
• ランダムなパラメータ摂動の代わりにポリシー勾配ベースの突然変異を採用することで、遺伝的多様性と学習効率を向上させること。
• ハイブリッド遺伝的アルゴリズムが連続制御タスクにおいて、最先端のポリシー勾配法と同等またはそれ以上のパフォーマンスを達成できることを実証すること。

提案手法

• 模倣学習を用いて、よりパフォーマンスの良い親ポリシーの状態訪問分布を模倣するように、子孫ポリシーを状態空間でクロスオーバーする。
• エピソードリターンに基づくフィットネス関数を用いて、高いパフォーマンスを示すポリシーのペアを選別し、遺伝的プロセスにおける自然選択を可能にする。
• ポリシー勾配法（例：A2C）を突然変異に用い、子孫ポリシーを環境からの共有バッチサンプル上で勾配降下で更新する。
• 突然変異中に類似したポリシー間でデータを共有することで、サンプル効率を向上させ、勾配推定の分散を低減する。
• 選択、クロスオーバー、突然変異の演算子を用いて、複数の世代にわたり進化を続けるポリシーの集団を維持する。
• 遺伝的演算子を強化学習ループに統合し、各世代をロールアウトで評価し、ポリシー勾配更新で改善する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ空間クロスオーバーの不安定性にもかかわらず、連続制御タスクにおける深層ポリシー最適化への遺伝的アルゴリズムの効果的適用が可能かどうか。
• RQ2 模倣学習による状態空間クロスオーバーは、パラメータ空間クロスオーバーと比較して、ポリシー性能を保持または向上させるか。
• RQ3 ポリシー勾配ベースの突然変異は、ランダムなパラメータ摂動と比較して、より良い学習信号と遺伝的多様性を提供するか。
• RQ4 模倣学習ベースのクロスオーバーとポリシー勾配突然変異の組み合わせが、サンプル効率と最終パフォーマンスにどのように影響を与えるか。
• RQ5 フィットネスベース選択とデータ共有を組み合わせた遺伝的アルゴリズムフレームワークが、ロバストネスとスケーラビリティをどの程度向上させるか。

主な発見

• GPOは、Walker2D や HalfCheetah を含む MuJoCo 移動タスクにおいて、A2C や SAC などの最先端のポリシー勾配法よりも優れた最終パフォーマンスを達成する。
• Walker2D および HalfCheetah の斜面バージョンでは、GPO がベースラインを著しく上回り、より優れた探索能力とロバストネスを示している。
• アブレーションスタディの結果、状態空間クロスオーバー、フィットネスベース選択、突然変異時のデータ共有をすべて組み合わせた場合に最高のパフォーマンスが得られ、GPO の正規化パフォーマンスは 1.0 である一方、単一ポリシーのベースラインでは 0.33 にとどまる。
• 突然変異時のデータ共有メカニズムが最も顕著な利益をもたらし、パフォーマンスを 0.33（Single）から 0.83（Base+M）に向上させた。これは、この機構がサンプル効率に果たす役割を示している。
• 集団サイズを増やすことで GPO のパフォーマンスが向上し、並列処理に適したスケーラビリティと適性が示された。
• GPO で訓練された最終ポリシー集合は、最終世代における集団全体のパフォーマンスの一貫性が高いため、単一ポリシーよりもロバストであることが実証された。