[論文レビュー] Differentiable Architecture Search Without Training Nor Labels: A Pruning Perspective.

Miao Zhang, Steven W. Su+4 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Neural Network Applications参考文献 50被引用数 4

ひとこと要約

FreeNASは、NASを初期化時のプルーニング問題に再定式化することにより、ラベルフリーかつトレーニングフリーなニューラルアーキテクチャサーチフレームワークを提案する。ラベルやトレーニングを一切用いずに、重みの大きさと初期化時の勾配フローに基づく新規なFreeFlowプロキシを用いて、演算子の重要度をスコア化する。これにより、NAS-Bench-201とDARTSの探索空間において、それぞれ3.6秒および79秒で最先端の性能を達成する。

ABSTRACT

With leveraging the weight-sharing and continuous relaxation to enable gradient-descent to alternately optimize the supernet weights and the architecture parameters through a bi-level optimization paradigm, extit{Differentiable ARchiTecture Search} (DARTS) has become the mainstream method in Neural Architecture Search (NAS) due to its simplicity and efficiency. However, more recent works found that the performance of the searched architecture barely increases with the optimization proceeding in DARTS. In addition, several concurrent works show that the NAS could find more competitive architectures without labels. The above observations reveal that the supervision signal in DARTS may be a poor indicator for architecture optimization, inspiring a foundational question: instead of using the supervision signal to perform bi-level optimization, extit{can we find high-quality architectures extbf{without any training nor labels}}? We provide an affirmative answer by customizing the NAS as a network pruning at initialization problem. By leveraging recent techniques on the network pruning at initialization, we designed a FreeFlow proxy to score the importance of candidate operations in NAS without any training nor labels, and proposed a novel framework called extit{training and label free neural architecture search} ( extbf{FreeNAS}) accordingly. We show that, without any training nor labels, FreeNAS with the proposed FreeFlow proxy can outperform most NAS baselines. More importantly, our framework is extremely efficient, which completes the architecture search within only extbf{3.6s} and extbf{79s} on a single GPU for the NAS-Bench-201 and DARTS search space, respectively. We hope our work inspires more attempts in solving NAS from the perspective of pruning at initialization.

研究の動機と目的

• トレーニングやラベルが一切不要な状態で、高品質なニューラルアーキテクチャを発見できるかを調査すること。
• 最適化の過程で性能向上が止まるDARTSにおける劣悪な監視信号の問題を解決すること。
• ニューラルアーキテクチャサーチを初期化時のネットワークプルーニング問題に再定式化すること。
• モデルのトレーニングやラベルを必要とせず、演算子の重要度をスコア化するプロキシ指標を開発すること。
• 最小限の計算コストで効率的なアーキテクチャサーチを実現し、競争力のあるアーキテクチャを迅速に発見できること。

提案手法

• スーパーネットをプルーニングすべき密なアーキテクチャとみなして、アーキテクチャサーチを初期化時のプルーニング問題に再定式化する。
• 初期化時の重みの大きさと勾配フローに基づき、トレーニングやラベルを一切必要としない新規なプロキシ指標であるFreeFlowを導入し、候補演算子の重要度をスコア化する。
• FreeFlowスコアを用いて、重要度が低い演算子を段階的にプルーニングし、最終的なアーキテクチャを選択する。
• トレーニングの目的ではなく、FreeFlowプロキシを用いてプルーニング意思決定をガイドする二段階最適化パラダイムを適用する。
• ラッキータイクケットや初期化時のプルーニングに関する既存の技術を活用し、効率的に演算子を初期化およびスコア化する。
• バックプロパゲーションによるトレーニングを一切回避し、各レイヤーごとにFreeFlowスコアの上位k個の演算子を選択することでアーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャサーチにおいて、トレーニングやラベルが一切不要な状態で、高性能なニューラルアーキテクチャを発見できるか？
• RQ2 DARTSにおける監視信号は、アーキテクチャ最適化の指標として信頼できるものか、それとも根本的に欠陥を抱えているのか？
• RQ3 初期化時のネットワークプルーニングの原則を、アーキテクチャサーチに効果的に再利用できるか？
• RQ4 初期化時に計算されるようなプロキシ指標（例：FreeFlow）は、ラベルなしでアーキテクチャサーチをガイドするのに十分な信号を提供できるか？
• RQ5 トレーニングフリーかつラベルフリーなNASフレームワークは、著しく短縮された探索時間で競争力のある性能を達成できるか？

主な発見

• FreeNASは、ラベルやトレーニングを一切使用せずに、NAS-Bench-201およびDARTSの両探索空間で最先端の性能を達成した。
• 1枚のGPUを用いて、NAS-Bench-201ではわずか3.6秒、DARTS探索空間では79秒でアーキテクチャサーチを完了した。
• FreeNASは、長時間のトレーニングやラベル監視に依存する多数の既存のNASベースラインを上回った。
• 初期化時に計算されるFreeFlowプロキシは、バックプロパゲーションやトレーニングを一切必要とせず、アーキテクチャ選択に強力で信頼性の高い信号を提供した。
• この結果から、アーキテクチャサーチをトレーニングから明確に分離できることが示された。これは、NASにおいてトレーニングからの監視信号が本質的であるという仮定に疑問を呈するものである。