[論文レビュー] Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective

Wuyang Chen, Xinyu Gong+1 more|arXiv (Cornell University)|Feb 23, 2021

Advanced Neural Network Applications参考文献 62被引用数 51

ひとこと要約

TE-NASはNTKスペクトルと線形領域の数に基づく訓練なしの指標を導入し、アーキテクチャを評価することで訓練を必要としないNASを実現し、非常に低い探索コストで競争力のある結果を達成します。

ABSTRACT

Neural Architecture Search (NAS) has been explosively studied to automate the discovery of top-performer neural networks. Current works require heavy training of supernet or intensive architecture evaluations, thus suffering from heavy resource consumption and often incurring search bias due to truncated training or approximations. Can we select the best neural architectures without involving any training and eliminate a drastic portion of the search cost? We provide an affirmative answer, by proposing a novel framework called training-free neural architecture search (TE-NAS). TE-NAS ranks architectures by analyzing the spectrum of the neural tangent kernel (NTK) and the number of linear regions in the input space. Both are motivated by recent theory advances in deep networks and can be computed without any training and any label. We show that: (1) these two measurements imply the trainability and expressivity of a neural network; (2) they strongly correlate with the network's test accuracy. Further on, we design a pruning-based NAS mechanism to achieve a more flexible and superior trade-off between the trainability and expressivity during the search. In NAS-Bench-201 and DARTS search spaces, TE-NAS completes high-quality search but only costs 0.5 and 4 GPU hours with one 1080Ti on CIFAR-10 and ImageNet, respectively. We hope our work inspires more attempts in bridging the theoretical findings of deep networks and practical impacts in real NAS applications. Code is available at: https://github.com/VITA-Group/TENAS.

研究の動機と目的

• 訓練やラベルの使用を回避することでNAS探索コストを削減する動機づけ。
• アーキテクチャの訓練可能性と表現力を評価する訓練不要な指標の提案。
• 訓練可能性と表現力のバランスを取るための剪定ベースのNAS機構を開発。
• DARTS空間でNAS-Bench-201, CIFAR-10, ImageNetに対して超高効率なNAS性能を示す。

提案手法

• 訓練せず初期化時に計算されるNTK条件数(kappa_N)で訓練可能性を定義。
• ReLUネットワークの期待される線形領域数(R_N)で表現力を定義。
• 経験的相関を示す：より低いkappa_Nは精度が高いと相関し、より高いR_Nは精度が高いと相関する。
• 等重みのランキングを用いて2つの指標を結合しアーキテクチャ選択を導く。
• 重要度による剪定機構を導入し、エッジごとに低重要度の演算子を削除することで探索空間を |a0O|^E から |a0O|*E に縮小する。
• kappa_NとR_Nの変化に基づいて演算子を反復的に剪定し、単一路線アーキテクチャを返す訓練不要NASアルゴリズムTE-NASを提供。
• 探索ダイナミクスを示すために剪定軌跡を視覚化することも任意で行う。

実験結果

リサーチクエスチョン

• RQ1 理論的に動機づけられたネットワーク指標を用いて、訓練やラベルなしでNASを効果的に実行できるか。
• RQ2 NTKスペクトル（条件数）と線形領域の数は訓練可能性と表現力を信頼性高く示し、テスト精度と相関するか。
• RQ3 これらの指標を活用した剪定ベースの探索戦略は、探索コストを大幅に削減しつつ高品質なアーキテクチャを生み出せるか。

主な発見

• TE-NASはNTKベースの訓練可能性(kappa_N)と線形領域表現力(R_N)を訓練不要の指標として使用します。
• kappa_Nはテスト精度と負の相関を示し、より低い条件数が訓練可能性と性能に有利であることを意味します。
• R_Nはテスト精度と正の相関を示し、より高い表現力がより良い性能と一致します。
• kappa_NとR_Nの正規化されたランキングの等重み結合はアーキテクチャ選択を効果的に導きます。
• TE-NASは探索時間を劇的に短縮して競争力のある結果を達成します：CIFAR-10で0.5 GPU時間、ImageNetで4 GPU時間、NAS-Bench-201/DARTS空間で1台の1080Ti使用。
• 重要度による剪定は探索を |a0O|^E の可能性から単一路線ネットワークへと加速し、性能ポテンシャルを維持します。