[論文レビュー] Evolvability ES: Scalable and Direct Optimization of Evolvability

Alexander Gajewski, Jeff Clune+2 more|arXiv (Cornell University)|Jul 13, 2019

Evolutionary Algorithms and Applications参考文献 40被引用数 9

ひとこと要約

本稿では、大規模なニューラルネットワークにおける突然変異下での行動多様性を最大化することによって、適合性を直接最適化するスケーラブルな進化的戦略、Evolvability ES を導入する。この手法は、ロケーションタスクにおいて MAML と同等の性能を達成するとともに、迅速な適応とマルチモーダルな集団における顕在的特化を可能にする。

ABSTRACT

Designing evolutionary algorithms capable of uncovering highly evolvable representations is an open challenge; such evolvability is important because it accelerates evolution and enables fast adaptation to changing circumstances. This paper introduces evolvability ES, an evolutionary algorithm designed to explicitly and efficiently optimize for evolvability, i.e. the ability to further adapt. The insight is that it is possible to derive a novel objective in the spirit of natural evolution strategies that maximizes the diversity of behaviors exhibited when an individual is subject to random mutations, and that efficiently scales with computation. Experiments in 2-D and 3-D locomotion tasks highlight the potential of evolvability ES to generate solutions with tens of thousands of parameters that can quickly be adapted to solve different tasks and that can productively seed further evolution. We further highlight a connection between evolvability and a recent and popular gradient-based meta-learning algorithm called MAML; results show that evolvability ES can perform competitively with MAML and that it discovers solutions with distinct properties. The conclusion is that evolvability ES opens up novel research directions for studying and exploiting the potential of evolvable representations for deep neural networks.

研究の動機と目的

• 大規模なニューラルネットワークにおいて、高い適合性を持つ表現を効率的に発見できる進化的アルゴリズムを設計するという課題に対処すること。
• 間接的な選択圧に依存するのではなく、突然変異による多様な行動を生成する能力（適合性）を直接最適化すること。
• 計算的に効率的な進化的戦略フレームワークを用いて、大規模ゲノム（例：数万のパラメータ）への適合性最適化をスケーリングすること。
• 進化的計算における適合性と勾配ベースのメタラーニング（例：MAML）との間の関係を調査し、迅速な適応に共通する原理を示唆すること。

提案手法

• 進化的戦略（ES）フレームワークを、ポリシーの突然変異バージョン間の行動多様性のエントロピーを最大化するという新しい目的関数を直接最適化するように適応する。
• 確率的計算グラフ（SCGs）を用いて、突然変異の期待値を介した勾配推定を計算し、突然変異の期待値を介したバックプロパゲーションを可能にする。
• 複数モードのガウス・ミックスチャネル・モデル（GMM）集団を用いて、複数の特化した行動モードをモデル化・進化させ、ランダム初期化または対称性破壊のシーディングを用いたバージョンを採用する。
• Evolvability ES の更新ルールに適合性目的関数を統合し、追加計算を最小限に抑えつつ、性能と適合性の共同最適化を可能にする。
• 性能評価に使用される同じロールアウトを再利用して適合性勾配を推定し、追加の環境インタラクションが不要な効率的な補助最適化を実現する。
• 前向きニューラルネットワークポリシーを用いた2次元および3次元のロケーションタスクにこの手法を適用し、ランダムな突然変異を用いて行動多様性をサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルな進化的戦略を用いて、大規模なニューラルネットワークにおいて適合性を直接かつ効率的に最適化できるか？
• RQ2 直接的な適合性最適化は、MAML などの勾配ベースのメタラーニング手法と比較して、性能および適応性の面でどう異なるか？
• RQ3 明示的な特化圧力がなくても、マルチモーダルな集団（例：GMM）は特化した行動モードを進化させられるか？
• RQ4 適合性が、ノベルティ駆動型または目的指向の進化的進化を強化する補助的目的として、どの程度有効に機能するか？

主な発見

• Evolvability ES は、数万のパラメータを持つ大規模なニューラルネットワークにおいて、2次元および3次元のロケーションタスクで MAML と同等の性能を達成しながら、適合性を効果的に最適化した。
• 突然変異による迅速な適応が可能であり、高い適合性を持つポリシーを直接かつ効率的に進化させられることを示した。
• マルチモーダルなバージョンでは、明示的な圧力がなくても、集団内で明確な行動モードが自発的に出現した。これは、特化への自己組織的進化を示唆している。
• 分割型 GMM バージョン（事前学習済みのユニモーダル集団からシードされた）は、通常の GMM と比較して行動カバレッジに顕著な差がなく、適合性最適化そのものから特化に類似した行動が出現しうることを示している。
• 性能評価に使用された同じロールアウトを再利用して適合性勾配を推定したため、追加の環境評価が不要な補助最適化が実現した。
• 結果から、進化的計算における適合性とパラメータ空間メタラーニングの間には深い概念的関連性があることが示唆され、Evolvability ES は MAML とは対照的に勾配ベースでない補完的代替手法を提供している。