[論文レビュー] Understanding Architectures Learnt by Cell-based Neural Architecture Search

Yao Shu, Wei Wang+1 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Memory and Neural Computing参考文献 28被引用数 60

ひとこと要約

本論文は、人気のセルベース NAS が広くて浅いセルを学習する傾向にあり、それらは滑らかな損失地形と勾配分散の低さにより収束が速いが、他の候補より必ずしも一般化性能が優れているとは限らないことを示している。

ABSTRACT

Neural architecture search (NAS) searches architectures automatically for given tasks, e.g., image classification and language modeling. Improving the search efficiency and effectiveness have attracted increasing attention in recent years. However, few efforts have been devoted to understanding the generated architectures. In this paper, we first reveal that existing NAS algorithms (e.g., DARTS, ENAS) tend to favor architectures with wide and shallow cell structures. These favorable architectures consistently achieve fast convergence and are consequently selected by NAS algorithms. Our empirical and theoretical study further confirms that their fast convergence derives from their smooth loss landscape and accurate gradient information. Nonetheless, these architectures may not necessarily lead to better generalization performance compared with other candidate architectures in the same search space, and therefore further improvement is possible by revising existing NAS algorithms.

研究の動機と目的

• 人気のある NAS アルゴリズムによって学習されるアーキテクチャのパターンを調査する。
• NAS セルが共通の接続パターンを共有しているかを特定する。
• 広くて浅いセルが出現する理由と、それらが最適化にどう影響するかを説明する。
• 広くて浅いセルと狭くて深いセルの一般化性能を評価する。

提案手法

• NASNet、AmoebaNet、ENAS、DARTS、SNAS のセルのトポロジーを可視化・分析する。
• セルの幅と深さを定義し、ランダムに接続されたバリアントと比較する。
• CIFAR-10/100 上で NAS アーキテクチャを経験的に訓練し、異なる学習率での収束を調査する。
• 等高線プロットと勾配分散指標を用いて損失地形を分析する。
• ブロックごとの Lipschitz 平滑性と勾配分散定理を用いて理論的洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 NAS 生成セルはアーキテクチャを超えて共通の接続パターンを示しているだろうか？
• RQ2 なぜ NAS 検索中に広くて浅いセルがより速く収束する傾向があるのか？
• RQ3 セルの幅と深さは損失地形の滑らかさと勾配分散にどう影響するか？
• RQ4 広くて浅い NAS セルは、タスク全般で狭くて深いものより一般化性能が高いか？

主な発見

• 同じ探索空間内で、NAS アーキテクチャは候補セルの中で最も幅が広く最も浅い傾向がある。
• より広くて浅いセルは、滑らかな損失地形と低い勾配分散のため、より速く安定して収束する。
• 演算選択は、接続トポロジーと比較すると収束には限定的な影響しか与えない。
• 広くて浅いセルは、タスクを超えて必ずしも狭くて深い代替より一般化性能が高いとは限らない。
• 最も広く最も浅いパターンを適応させると、データセットとアーキテクチャによって一般化の結果が混在する可能性がある。