[論文レビュー] Evaluating the Search Phase of Neural Architecture Search

Kaicheng Yu, Christian Sciuto+3 more|arXiv (Cornell University)|Feb 21, 2019

Advanced Neural Network Applications参考文献 45被引用数 166

ひとこと要約

本論文は NAS の探索戦略を同一探索空間内のランダムなアーキテクチャ探索と比較して評価し、最先端の NAS 手法はランダム探索を有意に上回らないこと、そしてウェイト共有がランキング精度を低下させることを示している。

ABSTRACT

Neural Architecture Search (NAS) aims to facilitate the design of deep networks for new tasks. Existing techniques rely on two stages: searching over the architecture space and validating the best architecture. NAS algorithms are currently compared solely based on their results on the downstream task. While intuitive, this fails to explicitly evaluate the effectiveness of their search strategies. In this paper, we propose to evaluate the NAS search phase. To this end, we compare the quality of the solutions obtained by NAS search policies with that of random architecture selection. We find that: (i) On average, the state-of-the-art NAS algorithms perform similarly to the random policy; (ii) the widely-used weight sharing strategy degrades the ranking of the NAS candidates to the point of not reflecting their true performance, thus reducing the effectiveness of the search process. We believe that our evaluation framework will be key to designing NAS strategies that consistently discover architectures superior to random ones.

研究の動機と目的

• 最終タスクの性能だけでなく、NAS探索戦略の明確な評価を動機づける。
• 同一の探索空間でNAS探索ポリシー（DARTS、NAO、ENAS）とランダム探索を比較する。
• 探索の有効性へ影響する要因を特定する。特にウェイト共有と探索空間の制約。
• 堅牢なNAS探索分析を促進する評価フレームワークと公開コードを提供する。

提案手法

• NAS手法と同じ探索空間からアーキテクチャを一様にサンプリングする、公正なランダム探索のベースラインを定義する。
• ランダム性を低減するため、複数の乱数シードで探索を繰り返し、平均性能を比較する。
• 探索空間を縮小して（n=2ノードのRNN空間とNASBench-101 CNN空間）、総当たり評価の地上真値となるアーキテクチャ性能を取得する。
• NAS予測アーキテクチャと真の性能とのランキング対応（Kendall Tau）を測定し、ウェイト共有の影響を定量化する。
• すべてのサンプル済みアーキテクチャを同一のハイパーパラメータとエポック予算で訓練し、公平な比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 最先端のNASアルゴリズム（DARTS、NAO、ENAS）は、同じ探索空間でランダム探索を上回るのか？
• RQ2 探索中のNASランキングと真の性能との相関に、ウェイト共有はどのような影響を与えるのか？
• RQ3 探索空間を制約することや総当たり評価を行うことは、NAS手法とランダム探索の相対的な性能を変えるのか？
• RQ4 縮小された探索空間でウェイト共有を排除した場合、NASの性能にどのような影響があるのか？

主な発見

Policy	PTB (PPL)	t-test	CIFAR-10 (acc.)	t-test
ENAS	59.88 ± 1.92	0.73	96.79 ± 0.11	0.01
DARTS	60.61 ± 2.54	0.62	96.62 ± 0.23	0.20
NAO	61.99 ± 1.95	0.02	96.86 ± 0.17	0.00
Random	60.13 ± 0.65	-	96.44 ± 0.19	-

• 標準の探索空間では、NAS手法（DARTS、NAO、ENAS）は一般的にランダム探索を大きく上回らない。
• RNN空間では、ランダム探索が最良またはほぼ最良のパープレキシティ/精度を示すことが多く、NAS方針の有効性に挑戦する。
• ウェイト共有はアーキテクチャランキングを著しく偏らせ、探索フェーズの信頼性を低下させ、時にはNASをランダム探索と同等かそれ以下にしてしまう。
• 縮小された探索空間でウェイト共有を排除するとNASの性能は著しく向上し、NAOとENASがより一貫してランダム探索を上回る。
• 縮小されたCNN空間では、NAS手法はランダム探索をあまり大きく上回らず、ウェイト共有の影響を大きく受け、空間サイズが大きくなると特に顕著になる。
• 著者らは公正でシード耐性のあるNAS探索戦略評価を可能にするフレームワークと公開コードを提供する。