[論文レビュー] Neural Architecture Search Over a Graph Search Space

Stanisław Jastrzȩbski, Quentin de Laroussilhe+4 more|arXiv (Cornell University)|Dec 27, 2018

Machine Learning and Data Classification被引用数 2

ひとこと要約

本論文は、ニューラルアーキテクチャ探索（NAS）のためのグラフベースの探索空間を提案する。アーキテクチャの意思決定を頂点として、行動を有向エッジとしてモデル化することで、反復的および分岐的な探索パターンの動的探索を可能にする。動的ニューラルコントローラーは、これらのグラフを走破し、サンプル効率を向上させる。短いトレーニング時間と小さなモデルでも、線形探索空間と比較してCIFAR-10で84%の精度を達成した（線形探索空間では82%）。

ABSTRACT

Neural Architecture Search (NAS) enabled the discovery of state-of-the-art architectures in many domains. However, the success of NAS depends on the definition of the search space. Current search spaces are defined as a static sequence of decisions and a set of available actions for each decision. Each possible sequence of actions defines an architecture. We propose a more expressive class of search space: directed graphs. In our formalism, each decision is a vertex and each action is an edge. This allows us to model iterative and branching architecture design decisions. We demonstrate in simulation, and on image classification experiments, basic iterative and branching search structures, and show that the graph representation improves sample efficiency.

研究の動機と目的

• 線形探索空間の限界に対処する。これは、分岐や反復的設計意思決定を効率的にモデル化できない。
• 動的で条件付き、再帰的なアーキテクチャ設計パターンをサポートする、より表現力があり柔軟な探索空間を実現する。
• 複雑な非線形意思決定経路の探索を可能にすることで、NASにおけるサンプル効率を向上させる。
• 現在のグラフ内状態に基づいてアーキテクチャを動的に適応可能な動的ニューラルコントローラーを開発する。
• 画像分類ベンチマーク上でグラフベースの探索空間の有効性を実証し、収束が速く、性能が優れていることを示す。

提案手法

• 探索空間を有向グラフ G = (V, A) としてモデル化する。ここで頂点は意思決定状態を表し、エッジは行動を表す。
• アーキテクチャを開始頂点から終了頂点へのパスとして定義し、可変長のシーケンスと状態の繰り返し訪問を許容する。
• 現在のグラフ内頂点に基づいて、内部状態と行動分布を動的に調整するRNNベースのコントローラーを設計する。
• 訪問した頂点の履歴に条件づけた行動確率を定義することで、複雑な探索経路における文脈に配慮した意思決定を可能にする。
• 強化学習を用いてコントローラーを訓練し、下流タスクにおける生成アーキテクチャの性能に基づいた報酬を用いる。
• リソース制約のある環境でのサンプル効率を向上させるために、優先度キュー訓練アルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの探索空間は、分岐や反復といった複雑な非線形アーキテクチャ設計パターンをよりよく表現できるか？
• RQ2 NASをグラフ上の動的ウォークとしてモデル化することで、固定シーケンスアプローチと比較してサンプル効率が向上するか？
• RQ3 動的ニューラルコントローラーは、複雑なグラフ構造の探索空間を効果的にナビゲートできるか？
• RQ4 最終的な精度と収束速度の観点から、グラフベースのNASアプローチは線形探索空間と比べてどのように異なるか？
• RQ5 グラフベースの探索空間は、線形シーケンスではうまくモデル化できない反復的または条件付き設計意思決定を、どの程度まで捉えることができるか？

主な発見

• グラフベースの探索空間は、20エポックのトレーニングのみでCIFAR-10で84%のトップ1精度を達成した。線形探索空間と比較して、同じ条件下で82%の精度を記録した。
• ImageNetにおいても、グラフ探索空間は収束が早く、より高い精度に到達した。最適化ダイナミクスの向上が裏付けられた。
• 動的コントローラーは、分岐や反復を含む複雑なパスを効果的にナビゲートし、条件付き設計パターンの効率的探索を可能にした。
• サンプル効率が顕著に向上した。少ないアーキテクチャ数のサンプリングと短いトレーニング時間でも、より高い性能が得られた。
• 従来不可能とされていた探索パターン、例えばすべてのオプションではなく選択された最適化手法に対してのみハイパーパrameterを選択するようなパターンをモデル化可能となった。
• 結果として、グラフベースの探索空間は、特に複雑な設計シナリオにおいて、線形シーケンスよりも表現力があり、より効果的であることが検証された。