[論文レビュー] Powering One-shot Topological NAS with Stabilized Share-parameter Proxy

Ronghao Guo, Lin Chen+5 more|arXiv (Cornell University)|May 21, 2020

Advanced Neural Network Applications参考文献 48被引用数 7

ひとこと要約

本稿では、3.4×10¹⁰種類以上のアーキテクチャを含む大規模でトポロジー拡張された探索空間において、効率的な探索を可能にする1ショットNAS手法であるStabilized Topological Neural Architecture Search (ST-NAS)を提案する。共有パラメータ推定の安定化にStochastic Gradient Langevin Dynamics (SGLD)を用いることで、ST-NASは、計算量制約が同程度の他の1ショットNASおよびサンプルベースNAS手法を上回る最先端の性能を達成した。ImageNetにおけるトップ1精度は、ST-NAS-Aで326M MAddsで76.4%、ST-NAS-Bで503M MAddsで77.9%を達成した。

ABSTRACT

One-shot NAS method has attracted much interest from the research community due to its remarkable training efficiency and capacity to discover high performance models. However, the search spaces of previous one-shot based works usually relied on hand-craft design and were short for flexibility on the network topology. In this work, we try to enhance the one-shot NAS by exploring high-performing network architectures in our large-scale Topology Augmented Search Space (i.e., over 3.4*10^10 different topological structures). Specifically, the difficulties for architecture searching in such a complex space has been eliminated by the proposed stabilized share-parameter proxy, which employs Stochastic Gradient Langevin Dynamics to enable fast shared parameter sampling, so as to achieve stabilized measurement of architecture performance even in search space with complex topological structures. The proposed method, namely Stablized Topological Neural Architecture Search (ST-NAS), achieves state-of-the-art performance under Multiply-Adds (MAdds) constraint on ImageNet. Our lite model ST-NAS-A achieves 76.4% top-1 accuracy with only 326M MAdds. Our moderate model ST-NAS-B achieves 77.9% top-1 accuracy just required 503M MAdds. Both of our models offer superior performances in comparison to other concurrent works on one-shot NAS.

研究の動機と目的

• 1ショットNASにおける手作業で設計された剛性の高い探索空間の制限を克服すること。
• 3.4×10¹⁰種類以上の異なるトポロジカル構造を含む大規模でトポロジー拡張された探索空間における有効なアーキテクチャ探索を可能にすること。
• 重み共有によるパラメータ推定の分散を低減することで、共有パラメータ推定における性能順位の安定化を図ること。
• 1ショットNASフレームワークを用いて、MAdds制約が厳しい条件下でImageNetにおける最先端の精度を達成すること。

提案手法

• ノード間の計算モジュールによって定義されるエッジを持つトポロジー拡張探索空間を提案し、非チェーン型の複雑なネットワークトポロジーの探索を可能にする。
• 1ショット学習中にハイパーネットからアーキテクチャをサンプリングするトポロジーに基づくアーキテクチャサンプラーを導入する。
• アーキテクチャ性能の期待値を推定するために、共有パラメータを効率的にサンプリングするためのStochastic Gradient Langevin Dynamics (SGLD)を採用する。
• 複数のSGLDサンプルにおける共有パラメータの期待値を用いることで、性能評価の安定化と順位付けの分散低減を実現する。
• 複数エポックにわたる評価戦略を適用し、性能の期待値を計算することで、アーキテクチャ順位付けの信頼性を向上させる。
• すべての候補アーキテクチャに共通する重みを持つハイパーネットを設計し、重み共有により高速な評価を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模でトポロジーに多様性を持つ探索空間は、従来の剛性の高い探索空間と比較して、1ショットNASの性能を顕著に向上させることができるか？
• RQ2 複雑なトポロジカル探索空間において、共有パラメータ推定の分散をどのように低減すれば、信頼性の高いアーキテクチャ順位付けを実現できるか？
• RQ3 SGLDを用いた共有パラメータ推定の安定化は、1ショットNASにおけるアーキテクチャ性能予測の正確性と一貫性を向上させるか？
• RQ4 安定化されたプロキシを用いた1ショットNASは、厳密なMAdds制約下でImageNetにおいて最先端の精度を達成できるか？
• RQ5 探索されたアーキテクチャは、COCOオブジェクト検出などの下流タスクにどれほどうまく転送できるか？

主な発見

• ST-NAS-Aは、326M MAddsでImageNetにおいて76.4%のトップ1精度を達成し、同様の計算制約下のすべての先行1ショットNAS手法を上回った。
• ST-NAS-Bは503M MAddsで77.9%のトップ1精度を達成し、サンプルベースNASおよびResNet50のような手作業で設計されたモデルを上回ったが、FLOPsはその25%にまで削減された。
• SGLDベースの安定化手法は、Kendall’s tauが0.84を達成し、単一チェックポイント（0.71）および微調整（0.64）のベースラインを著しく上回った。
• COCOオブジェクト検出において、ST-NAS-AはMobileNetV2と同等の0.33GのMAddsで33.2 APを達成し、1.5ポイント優れた性能を示した。
• スケーリングされた探索アーキテクチャST-NAS-B*は、COCOで37.7 APを達成し、ResNet50（36.9 AP）を上回ったが、MAddsはその25%にまで削減された。
• アブレーションスタディにより、SGLDベースのパラメータ期待値が分散を低減し、順位付けの信頼性を向上させることを確認した。これは、中心的な安定化メカニズムの有効性を裏付けた。