[論文レビュー] Evolutionary-Neural Hybrid Agents for Architecture Search

Krzysztof Maziarz, Tan, Mingxing+3 more|arXiv (Cornell University)|Nov 24, 2018

Evolutionary Algorithms and Applications参考文献 48被引用数 15

ひとこと要約

この論文では、強化学習（RL）に基づくニューラルアーキテクチャ探索（NAS）と遺伝的アルゴリズムを組み合わせたハイブリッドエージェント、Evo-NASを紹介する。Evo-NASは、ニューラルポリシーを用いて遺伝的突然変異をガイドすることで、標準のRLエージェントと比較して1/3の探索コストで、画像分類およびテキスト分類ベンチマークで最先端の精度を達成する。

ABSTRACT

Neural Architecture Search has shown potential to automate the design of neural networks. Deep Reinforcement Learning based agents can learn complex architectural patterns, as well as explore a vast and compositional search space. On the other hand, evolutionary algorithms offer higher sample efficiency, which is critical for such a resource intensive application. In order to capture the best of both worlds, we propose a class of Evolutionary-Neural hybrid agents (Evo-NAS). We show that the Evo-NAS agent outperforms both neural and evolutionary agents when applied to architecture search for a suite of text and image classification benchmarks. On a high-complexity architecture search space for image classification, the Evo-NAS agent surpasses the accuracy achieved by commonly used agents with only 1/3 of the search cost.

研究の動機と目的

• 純粋な強化学習（RL）に基づくニューラルアーキテクチャ探索（NAS）手法の高い計算コストと限られたサンプル効率を解決すること。
• RLから得た学習済みパターンを統合することで、純粋な遺伝的アルゴリズムのヒューリスティックな突然変異の制限を克服すること。
• ニューラルネットワークのパターン学習能力と遺伝的戦略のサンプル効率を組み合わせたハイブリッドエージェントを開発すること。
• 画像およびテキスト分類タスクを含む多様なNASベンチマークで、優れた性能と効率を示すこと。
• 異なる探索空間およびデータセットに応用可能なスケーラブルで一般化可能なフレームワークを提供すること。

提案手法

• 強化学習によって訓練されたニューラルポリシーで突然変異操作をガイドする遺伝的エージェント、Evo-NASを提案する。
• ニューラルネットワークを用いて、アーキテクチャ的要素における突然変異確率を予測し、パターンに基づく探索空間の探索を可能にする。
• 評価されたアーキテクチャからのパフォーマンスフィードバックに基づいて、ポリシー勾配法（PQTまたはREINFORCE）を用いてニューラルコントローラーを最適化する。
• 遺伝的探索と学習済みポリシーを統合する：各世代は、RLで訓練されたコントローラーにインスパイアされた突然変異によってオフスプリングを生成する。
• 探索と活用のバランスを取るために、固定された集団サイズ（P=500）とサンプルサイズ（S=50）を用いた集団ベースのトレーニングを実施する。
• トレーニングの安定化とハイパーパramータ探索の支援のため、ウィンドウサイズ50の移動平均報酬を適用する。

実験結果

リサーチクエスチョン

• RQ1 RLに基づくポリシー学習と遺伝的突然変異戦略を組み合わせたハイブリッドエージェントは、ニューラルアーキテクチャ探索において、より優れたサンプル効率とパフォーマンスを達成できるか？
• RQ2 Evo-NASは、画像およびテキスト分類ベンチマークにおいて、純粋なRLベースのエージェントおよび純粋な遺伝的エージェントと比較して、どのように性能を発揮するか？
• RQ3 ニューラルコントローラーを用いて突然変異パターンを学習することで、探索コストを削減しつつ、精度を維持または向上させられるか？
• RQ4 このハイブリッドアプローチは、高複雑度の画像分類タスクを含む、さまざまな探索空間およびデータセットに一般化可能か？
• RQ5 Evo-NASフレームワークの最適なハイパーパramータ（例：学習率、エントロピーペナルティ、突然変異確率）は何か？また、それらはパフォーマンスにどのように影響を与えるか？

主な発見

• Evo-NASは、画像およびテキスト分類ベンチマークにおいて、純粋なRLベースおよび純粋な遺伝的エージェントを上回り、より少ない探索試行回数で高い精度を達成する。
• 高複雑度の画像分類探索空間において、Evo-NASは、標準のRLエージェントが要する1/3の探索コストで、最先端の精度を達成する。
• ハイブリッドエージェントはNAS-Bench-101でも優れたパフォーマンスを示し、さまざまな探索空間にわたる頑健性と一般化能力を示す。
• Evo-NASの最適化されたハイパーパramータには、突然変異確率0.2、学習率5e-5（PQT用）または2e-4（REINFORCE用）、エントロピーペナルティ0.01が含まれる。
• 突然変異をニューラルポリシーでガイドすることで、ランダムまたはヒューリスティックベースの突然変異戦略よりも、より効果的な探索が可能になる。
• Evo-NASフレームワークは、スケーラビリティと再現性に優れており、複数のデータセットおよび探索タスクで一貫したパフォーマンス向上を示す。