[論文レビュー] AtomNAS: Fine-Grained End-to-End Neural Architecture Search

Jieru Mei, Yingwei Li+5 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Neural Network Applications参考文献 33被引用数 42

ひとこと要約

AtomNAS は、細粒度の原子ブロック探索空間と、動的プルーニングと FLOPs 対応の正則化を備えたエンドツーエンドの微分可能 NAS を導入し、探索コストを削減しながらモバイル条件下の ImageNet で最先端の成果を達成します。

ABSTRACT

Search space design is very critical to neural architecture search (NAS) algorithms. We propose a fine-grained search space comprised of atomic blocks, a minimal search unit that is much smaller than the ones used in recent NAS algorithms. This search space allows a mix of operations by composing different types of atomic blocks, while the search space in previous methods only allows homogeneous operations. Based on this search space, we propose a resource-aware architecture search framework which automatically assigns the computational resources (e.g., output channel numbers) for each operation by jointly considering the performance and the computational cost. In addition, to accelerate the search process, we propose a dynamic network shrinkage technique which prunes the atomic blocks with negligible influence on outputs on the fly. Instead of a search-and-retrain two-stage paradigm, our method simultaneously searches and trains the target architecture. Our method achieves state-of-the-art performance under several FLOPs configurations on ImageNet with a small searching cost. We open our entire codebase at: https://github.com/meijieru/AtomNAS.

研究の動機と目的

• 高度なブロックレベルの選択を超えた、より細かな NAS 探索空間の必要性を動機づける。
• 混合演算と柔軟なチャネル割り当てを可能にする最小探索単位として原子ブロックを提案する。
• FLOPs 対応の正則化を課しつつ、ネットワーク重みと原子ブロックの重要性を同時に学習するエンドツーエンドの NAS フレームワークを開発する。
• 探索を加速するため、実行中に死んだ原子ブロックをプルーニングしてダイナミックにネットワーク縮小を導入する。
• モバイル FLOP 制約下での ImageNet における最先端の性能を示し、検出/セグメンテーションへの転移性を示す。

提案手法

• ビルディングブロックを、チャネルごとに接続された二つの畳み込みから形成される原子ブロックに分解する細粒度の探索空間を定義する。
• 全体のネットワークを原子ブロックの和として表現し、ブロックをエンドツーエンドで選択可能にする学習可能な重要度係数 alpha を用いる（式(4)）。
• コスト係数で重み付けした alpha に対する L1 ペナルティとして FLOPs 対応の正則化を適用し、低コストブロックを優先的に選ぶよう促す（式(5)–(6)）。
• 学習中に evolves する alpha 値に基づいて死んだ原子ブロックを除去するダイナミックなネットワーク縮小を用いる（アルゴリズム1）。
• プルーニング後に BN 統計量を再計算して推論時の性能を正確に保証する。
• エンドツーエンドの微分可能な探索とプルーニングを伴う超ネットをエンドツーエンドで訓練し、後処理のファインチューニングなしに最終的なアーキテクチャを達成する。

実験結果

リサーチクエスチョン

• RQ1 従来のブロックレベルの NAS と比較して、より細かな原子ブロック探索空間は精度と FLOPs のトレードオフを改善できるか。
• RQ2 FLOPs 対応の正則化を伴うエンドツーエンドの微分可能探索は、固定 FLOP 予算下でモバイル設計のベースラインを上回るアーキテクチャを生み出せるか。
• RQ3 ダイナミックなオンザフライのプルーニング（縮小）は最終的な精度を損なうことなく探索コストを削減できるか。
• RQ4 AtomNAS が生成したモデルは検出とインスタンスセグメンテーションへどれだけ良く転移できるか。
• RQ5 プルーニング後の BN 再較正は最終的な精度にどの程度影響するか。

主な発見

Model	Parameters	FLOPs	Top-1%	Top-5%
AtomNAS-A	4.7M	258M	74.6	93.0
AtomNAS-B	5.5M	329M	77.2	93.5
AtomNAS-C	5.9M	363M	77.6	93.6
AtomNAS-A+	4.7M	260M	76.3	93.0
AtomNAS-B+	5.5M	329M	77.2	93.5
AtomNAS-C+	5.9M	363M	77.6	93.6

• AtomNAS-C は ImageNet で 360M FLOPs に対しトップ1 精度 75.9% を達成し、いくつかの最先端モバイルモデルを上回る。
• AtomNAS-C+ は 363M FLOPs でトップ1 精度 77.6% を達成し、MixNet-M を上回り 400M FLOPs 以下のモバイルシナリオで新たな SOTA を設定。
• AtomNAS-A および AtomNAS-B はそれぞれの FLOPs 予算下でも高い性能を達成（例: AtomNAS-A 74.6%/258M、AtomNAS-B 75.5%/326M）。
• アブレーション実験では、リソース認識型正則化が等ペナルティ基準と比べて FLOPs 効率と精度のトレードオフを改善。
• プルーニング後の BN 再較正はトップ1 精度に顕著な改善をもたらす（AtomNAS-A +1.4、AtomNAS-B +1.7、AtomNAS-C +1.2）。
• ダイナミック縮小は初期段階で死んだブロックをプルーニングすることで探索コストを削減し、AtomNAS-C の探索+訓練総時間は約 25.5 時間（最終のゼロからの訓練は約 22 時間）となる。
• AtomNAS モデルは COCO の検出/セグメンテーションへ良好に転移し、検出・セグメンテーションの指標でベースラインを上回る。