[論文レビュー] Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars

Simon Schrodi, Danny Stoll+4 more|arXiv (Cornell University)|Nov 3, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿は、文脈自由文法（CFG）を用いて階層的ニューラルアーキテクチャ探索（NAS）空間を統合的に構築するフレームワークを提案する。これにより、従来の研究と比べて数個のオーダーも大きい、コン act で表現力があり、規則的な探索空間を実現する。また、階層的カーネルを備えたベイズ最適化手法BOHNASを導入し、膨大な探索空間を効率的に探索し、SOTA性能を達成する。特にImageNet-16-120では4.99%の精度向上を達成した。

ABSTRACT

The discovery of neural architectures from simple building blocks is a long-standing goal of Neural Architecture Search (NAS). Hierarchical search spaces are a promising step towards this goal but lack a unifying search space design framework and typically only search over some limited aspect of architectures. In this work, we introduce a unifying search space design framework based on context-free grammars that can naturally and compactly generate expressive hierarchical search spaces that are 100s of orders of magnitude larger than common spaces from the literature. By enhancing and using their properties, we effectively enable search over the complete architecture and can foster regularity. Further, we propose an efficient hierarchical kernel design for a Bayesian Optimization search strategy to efficiently search over such huge spaces. We demonstrate the versatility of our search space design framework and show that our search strategy can be superior to existing NAS approaches. Code is available at https://github.com/automl/hierarchical_nas_construction.

研究の動機と目的

• すべての抽象化レベルで完全なアーキテクチャ探索を可能にする、階層的ニューラルアーキテクチャ探索空間を設計するための統合的フレームワークの欠如に対処すること。
• 従来のものと比べて数個のオーダーも大きいが、表現力があり、規則的で制約を満たす探索空間を構築すること。
• 指数的サイズの大きな階層的探索空間を効率的に探索できるベイズ最適化戦略の開発。
• 畳み込みネットワーク、トランスフォーマー、さまざまなアーキテクチャ設計選択肢に対して、フレームワークの汎用性を実証的に検証すること。
• ベストプラクティスに従い、コードとハイパーパramータを公開することで、再現性のあるNAS研究を促進すること。

提案手法

• 本稿では、ニューラルアーキテクチャを文脈自由文法（CFG）によって生成される関数の合成としてモデル化し、基本的な構成要素から再帰的・階層的にアーキテクチャを構築可能にする。
• CFGに、置換における閉包性を保証する機構を追加し、ユーザー定義のアーキテクチャ制約を組み込むことで、規則性を強化する。
• 複数の粒度のアーキテクチャコンポONENTを統合し、異なるレベル間の複雑な依存関係をモデル化する、新たな階層的カーネルをベイズ最適化（BOHNAS）に設計する。
• 線形またはセルベース構造に限定されない、スキップ接続や分岐を含む非線形なマクロトポロジに対しても探索を可能にする。
• NAS-Bench-201およびその派生フレームワークに統合し、マクロアーキテクチャやブロックの繰り返しといった、アーキテクチャ的側面を制御して評価可能にする。
• 一貫したトレーニングプロトコル、ハイパーパramータ、ランダムシードを用いた、広範なアブレーションおよび比較研究を実施し、公平なベンチマークを確保する。

実験結果

リサーチクエスチョン

• RQ1 CFGベースのフレームワークは、規則性を保ちつつ、複雑なトポロジをサポートする階層的NAS探索空間の統合的かつ拡張可能な構築を可能にするか？
• RQ2 提案されたBOHNAS手法は、大規模で階層的な探索空間において、従来のNASベースラインと比較してどのように性能を発揮するか？
• RQ3 このフレームワークは、標準的なセルベースや線形設計を越えた、新たなアーキテクチャパターンをどれだけ効果的に発見できるか？
• RQ4 マクロアーキテクチャやブロックの繰り返しといったアーキテクチャ設計選択が、さまざまなデータセットやモデルタイプにおいて、モデル性能にどのように影響を与えるか？
• RQ5 同じ探索プロトコル下で、畳み込みネットワークやトランスフォーマーを含む多様なアーキテクチャに、このフレームワークを効果的に適用できるか？

主な発見

• 提案されたCFGベースの探索空間構築法により、従来のNAS研究と比べて100以上のオーダーも大きい探索空間を構築可能であり、表現力と規則性を維持している。
• BOHNASは8つのデータセットのうち6つでSOTA性能を達成し、NAS-Bench-201のトレーニングプロトコルを用いたImageNet-16-120でも4.99%の精度向上を達成した。
• 本手法は、新たなアーキテクチャを効果的に発見でき、感情分析のためのトランスフォーマーに基づく分類ヘッドを発見した。これは、標準的な探索空間制約を超えて探索できることを示している。
• フレームワークは、畳み込みネットワークやトランスフォーマーを含む多様なアーキテクチャに対して、一貫した性能向上を実現し、効果的な探索を可能にする。
• アブレーションスタディにより、BOHNASにおける階層的カーネルが標準的なカーネル（例：WL、GCN）を上回ることを確認し、複数回の探索とシードにおいて一貫した性能向上が得られている。
• 本研究はNASベストプラクティスチェックリストに準拠しており、完全なコード、ハイパーパramータ、ランダムシードを公開しており、再現性と公平な比較を確保している。