[論文レビュー] An Introduction to Neural Architecture Search for Convolutional Networks

George Kyriakides, Konstantinos G. Margaritis|arXiv (Cornell University)|May 22, 2020

Advanced Neural Network Applications参考文献 42被引用数 9

ひとこと要約

この論文は畳み込みネットワーク向けのニューラルアーキテクチャ探索（NAS）について包括的な紹介を提供し、探索空間、最適化手法、候補評価技術といった主要な構成要素を概説している。主な進展として、セルベース探索空間や、NAS-Bench-101 や NAS-Bench-201 のようなベンチマークデータセットが挙げられ、計算コストを低減しつつ、効率的かつ再現可能な研究を可能にしている。

ABSTRACT

Neural Architecture Search (NAS) is a research field concerned with utilizing optimization algorithms to design optimal neural network architectures. There are many approaches concerning the architectural search spaces, optimization algorithms, as well as candidate architecture evaluation methods. As the field is growing at a continuously increasing pace, it is difficult for a beginner to discern between major, as well as emerging directions the field has followed. In this work, we provide an introduction to the basic concepts of NAS for convolutional networks, along with the major advances in search spaces, algorithms and evaluation techniques.

研究の動機と目的

• 畳み込みネットワーク向けのニューラルアーキテクチャ探索（NAS）の構造的概要を提供すること。焦点は、探索空間、最適化手法、候補評価の3要素に絞る。
• NASパイプラインにおいて、探索空間設計、最適化戦略、評価手法の間の相互依存性および相互影響を明確にすること。
• NAS研究の再現可能性と効率性を可能にする主要なベンチマークデータセット（NAS-Bench-101, NAS-Bench-201, NAS-Bench-1shot1）の導入と分析。
• リソースを大量に要する手法から、効率的で重み共有型、ワンショット型のアプローチへと進化したNASの動向を強調すること。
• 探索空間の制約や評価手法によって生じるバイアスのリスクを提起し、NAS研究における透明性と再現可能性の重要性を提唱すること。

提案手法

• マクロアーキテクチャ探索（グローバル探索空間）とマイクロアーキテクチャ探索（セルベース探索空間）にNASを分類し、後者は再利用可能なセルパターンの学習に焦点を当てる。
• ネットワークモルフィズムと微分可能アーキテクチャ探索（DARTS）を用いて、アーキテクチャ演算の微分可能かつ効率的な探索を可能にする。
• 重み共有技術（DARTS やワンショットNASにおけるもの）を導入し、1つのスーパーネットを訓練して個々のアーキテクチャの性能を近似する。
• ベンチマークデータセットのレビュー：NAS-Bench-101（CIFAR-10上で423,000のアーキテクチャ）、NAS-Bench-201（CIFAR-10/100およびImageNet-16-120上で15,625のアーキテクチャ）、NAS-Bench-1shot1（ワンショット手法のアーキテクチャをNAS-Bench-101にマッピング）。
• 早期停止、精度予測、遅延/FLOPsの報告といった評価手法が、トレーニングコストを削減し、探索を高速化する仕組みを説明する。
• NASベンチマークにより、完全なトレーニングを実施せずに再サンプリングをシミュレートし、精度、パラメータ数、トレーニング時間といった事前計算済みメトリクスを用いてアルゴリズムを公平に比較可能になることを提言する。

実験結果

リサーチクエスチョン

• RQ1 グローバル探索空間対セルベース探索空間といった異なる探索空間設計は、NASの効率性と性能にどのように影響を与えるか？
• RQ2 強化学習、進化的アルゴリズム、微分可能探索といった最適化戦略の間には、探索効率と最終的なアーキテクチャ品質の観点でどのようなトレードオフがあるか？
• RQ3 重み共有や精度予測といった代替評価手法は、完全なトレーニングに代わってどれほど精度と公平性を維持できるか？
• RQ4 NAS-Bench-101 や NAS-Bench-201 といったベンチマークデータセットは、再現可能で効率的なNAS研究をどのように可能にしているのか。また、それらの制限とは何か？
• RQ5 評価手法や探索空間設計はNASにどのようなバイアスをもたらす可能性があり、透明性とベストプラクティスの導入によってどのように是正できるか？

主な発見

• NASNet や NAS-Bench-101 に見られるセルベース探索空間は、ネットワーク全体にわたって学習済みのセルパターンを再利用することで、探索の複雑さを顕著に低減する。
• NAS-Bench-101 にはCIFAR-10上で423,000のユニークなアーキテクチャが含まれており、4, 12, 36, 108エポック後のトレーニングおよびテスト精度が報告されており、高速な評価と再サンプリングを可能にしている。
• NAS-Bench-201 は元のベンチマークを拡張し、CIFAR-10, CIFAR-100, ImageNet-16-120をサポートする15,625のアーキテクチャを含み、FLOPs, 遅延, エポックごとのメトリクスを報告している。
• ワンショットNASベンチマークの一つであるNAS-Bench-1shot1 は、ワンショット手法のアーキテクチャを事前に評価済みモデルを含むNAS-Bench-101にマッピングしており、6,240～363,648のユニークなモデルを用いた効率的な探索を可能にしている。
• 重み共有と代替評価手法は、ウォルク・タイムと計算コストを顕著に削減し、大規模なアクセラレータを必要とせず、標準的なハードウェアでもNAS研究が可能になる。
• これらの利点にもかかわらず、ベンチマークは過学習や探索空間カバレッジの制限によってバイアスを引き起こす可能性があり、評価手法はフィットネスランドスケープを歪める可能性がある。したがって、設計の注意深さと透明性の確保が不可欠である。