[論文レビュー] Unifying and Boosting Gradient-Based Training-Free Neural Architecture Search

Yao Shu, Zhongxiang Dai+2 more|arXiv (Cornell University)|Jan 24, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

本稿では、勾配に基づく訓練不要型ニューラルアーキテクチャサーチ（NAS）の統一的理論的分析を提示し、既存の指標の間の関係を明らかにするとともに、訓練不要型の効率性と訓練に基づく有効性を組み合わせた新しいフレームワークであるハイブリッドNAS（HNAS）の開発を可能にした。HNASは、低コストな探索を維持しながら、複数のベンチマークで、純粋な訓練不要型および訓練ベース型NAS手法を凌駕する最先端の探索精度を達成した。

ABSTRACT

Neural architecture search (NAS) has gained immense popularity owing to its ability to automate neural architecture design. A number of training-free metrics are recently proposed to realize NAS without training, hence making NAS more scalable. Despite their competitive empirical performances, a unified theoretical understanding of these training-free metrics is lacking. As a consequence, (a) the relationships among these metrics are unclear, (b) there is no theoretical interpretation for their empirical performances, and (c) there may exist untapped potential in existing training-free NAS, which probably can be unveiled through a unified theoretical understanding. To this end, this paper presents a unified theoretical analysis of gradient-based training-free NAS, which allows us to (a) theoretically study their relationships, (b) theoretically guarantee their generalization performances, and (c) exploit our unified theoretical understanding to develop a novel framework named hybrid NAS (HNAS) which consistently boosts training-free NAS in a principled way. Remarkably, HNAS can enjoy the advantages of both training-free (i.e., the superior search efficiency) and training-based (i.e., the remarkable search effectiveness) NAS, which we have demonstrated through extensive experiments.

研究の動機と目的

• 訓練不要型NASの指標に対する統一的理論的理解を確立すること。現時点では、これらの指標には理論的根拠が欠けている。
• 既存の訓練不要型指標の間の理論的関係を明確にし、その実証的成功を説明すること。
• 理論的洞察を通じて訓練不要型NASの未開発の潜在的力を同定し、探索性能の向上を図ること。
• 訓練不要型NASの効率性と訓練ベース型NASの有効性を統合する原理的フレームワークを構築すること。
• 標準的なNASベンチマークを用いた広範な実験を通じて、理論的洞察の妥当性を検証すること。

提案手法

• 勾配に基づく訓練不要型指標を用いて、深層ネットワーク（DNN）の統一的一般化境界を導出し、その性能の理論的解釈を可能にした。
• 理論的に、特定の条件下で訓練不要型指標が、訓練ベース型NASと同様のアーキテクチャトポロジー（広いまたは深い）を好むことを示した。
• ハイブリッドNAS（HNAS）を提案。これは、ベイジアン最適化（BO）と訓練不要型指標を統合し、訓練ベースと訓練不要型の両方の性能信号を用いてアーキテクチャ探索をガイドするフレームワークである。
• HNASでは、一般化保証と訓練ベースの検証性能のバランスをとるために、ハイパーパrameter μ と ν を用い、最適な結果が得られるようBOで調整した。
• HNASの探索進捗を監視し、有効性を検証するために、テスト誤差と一般化境界のスピアマン相関を用いた。
• BOにおける異なる獲得関数（例：EI, UCB）を用いて、HNASの最適化戦略に対するロバストネスと安定性を評価した。

実験結果

リサーチクエスチョン

• RQ1 既存の勾配に基づく訓練不要型NAS指標の間には、どのような理論的関係があるか？
• RQ2 訓練不要型NASの実証的成功を説明する統一的一般化境界を導出できるか？
• RQ3 理論的分析により、訓練不要型NASが訓練ベース型NASと同様のアーキテクチャトポロジー（広いまたは深い）を好むことが示されるか？
• RQ4 訓練不要型NASの効率性と訓練ベース型NASの有効性を統合するハイブリッドフレームワークを設計できるか？
• RQ5 提案されたHNASフレームワークは、ベイジアン最適化の獲得関数の変更に対してどれほどロバストか？

主な発見

• CIFAR-10では94.10 ± 0.16%、CIFAR-100では72.48 ± 0.95%、ImageNet-16-145では46.30 ± 0.17%のテスト精度を達成し、それぞれ94.37%、73.51%、47.31%の最適性能に近づいた。
• HNASは、純粋に訓練不要型のバージョンである κ/ℳTrace（CIFAR-10で93.50%）よりも顕著な向上を示し、訓練ベースのフィードバックを介した μ と ν のチューニングの利点を裏付けた。
• BOの反復回数を増やすにつれて、テスト誤差と一般化境界の相関が上昇した。これは、HNASが段階的により優れたアーキテクチャを選択していることを確認した。
• 異なる獲得関数（EI 対 UCB）を用いた場合、性能にほとんど差がなく、HNASがBOアルゴリズムの選択に対してロバストであることを示した。
• 理論的分析により、訓練不要型指標が、訓練ベース型NASと同様に、類似したインダクティブバイアス（例：広いまたは深い）を持つアーキテクチャを暗黙的に好むことが明らかになった。これは、本手法の理論的整合性を裏付けた。
• HNASは、訓練不要型と訓練ベース型NASの長所を原理的かつ統合的に統合し、優れた探索効率性と有効性を同時に達成した。