[論文レビュー] Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition

Ming Lin, Pichao Wang+6 more|arXiv (Cornell University)|Feb 1, 2021

Advanced Neural Network Applications参考文献 65被引用数 12

ひとこと要約

本論文は、トレーニングを伴わずにアーキテクチャをランク付けするための計算的に効率的なプロキシであるZen-Scoreを用いるゼロショットニューラルアーキテクチャサーチ手法であるZen-NASを提案する。Zen-Scoreは、ランダムに初期化された重みを用いた数回の順伝搬によってネットワークの表現力を推定する。これにより、0.5 GPU日未満で探索が可能となる。Zen-NASはImageNetで83.6%のトップ1精度を達成し、従来のNASおよび人間が設計したモデルを上回り、探索中にトレーニングコストを一切かけず、かつ顕著に高速な推論を実現する。

ABSTRACT

Accuracy predictor is a key component in Neural Architecture Search (NAS) for ranking architectures. Building a high-quality accuracy predictor usually costs enormous computation. To address this issue, instead of using an accuracy predictor, we propose a novel zero-shot index dubbed Zen-Score to rank the architectures. The Zen-Score represents the network expressivity and positively correlates with the model accuracy. The calculation of Zen-Score only takes a few forward inferences through a randomly initialized network, without training network parameters. Built upon the Zen-Score, we further propose a new NAS algorithm, termed as Zen-NAS, by maximizing the Zen-Score of the target network under given inference budgets. Within less than half GPU day, Zen-NAS is able to directly search high performance architectures in a data-free style. Comparing with previous NAS methods, the proposed Zen-NAS is magnitude times faster on multiple server-side and mobile-side GPU platforms with state-of-the-art accuracy on ImageNet. Our source code and pre-trained models are released on https://github.com/idstcv/ZenNAS.

研究の動機と目的

• 従来のNAS手法における精度予測子の高い計算コストを解決すること。
• アーキテクチャ探索におけるトレーニングやスーパーネット構築の必要性を排除すること。
• モデル精度と強く相関するが、最小限の計算量で計算可能なプロキシ指標を開発すること。
• ImageNetのような大規模データセットにおける高精度な画像認識のための効率的でデータフリーなNASを実現すること。
• 従来の手法と比較して顕著に低い探索コストで最先端の精度を達成すること。

提案手法

• ランダムに初期化された重みを用いた数回の順伝搬のみでネットワークの表現力を推定するゼロショットプロキシとしてのZen-Scoreを提案する。
• ランダムなガウス入力を用い、層間の活性化統計を測定することで表現力を評価する。
• 制約条件（例：FLOPs、遅延、モデルサイズ）の下でZen-Scoreを最大化するように設計されたZen-NASを探索アルゴリズムとして構築する。
• 進化的探索を用い、Zen-Scoreを目的関数としてアーキテクチャ空間を効率的に探索する。
• バッチ正則化に対するスケール不変性を確保するため、層間の活性化統計を正規化する。
• チャンネル数と深さを設定可能な残差ブロックおよびボトルネックブロックに基づく探索空間を設計する。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化に基づくゼロショットプロキシが、モデル精度と強い相関を示せるか？
• RQ2 Zen-Scoreにより、トレーニングやスーパーネット構築なしに高い性能を維持できるか？
• RQ3 Zen-NASは最小限の探索コストでImageNetで最先端の精度を達成できるか？
• RQ4 Zen-Scoreは異なるハードウェアプラットフォームやモデルサイズにおいても効果を発揮するか？
• RQ5 Zen-Scoreはバッチ正則化に対して頑健であり、多様なネットワークアーキテクチャに適用可能か？

主な発見

• Zen-NASは、0.5 GPU日未満の探索時間でImageNetで83.6%のトップ1精度を達成し、従来のNASおよび人間が設計したモデルを上回る。
• CIFAR-10、CIFAR-100、ImageNetの各データセットで顕著に低い探索コストで最先端の性能を達成する。
• Zen-NASは、フル解像度のImageNet-1kデータセットにおいて、トレーニングベースの手法を超える最初のゼロショットNAS手法である。
• Zen-Netsは、EfficientNet-B5と同等の精度を達成しながら、推論速度が桁違いに速い。
• Zen-Scoreはモデル精度と強い正の相関を示し、バッチ正則化に対しても頑健である。
• 探索プロセスはデータフリーかつパラメータフリーであり、各アーキテクチャに対して数回の順伝搬のみで実行可能である。