[論文レビュー] AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling

Dilin Wang, Meng Li+2 more|arXiv (Cornell University)|Nov 18, 2020

Advanced Neural Network Applications参考文献 47被引用数 12

ひとこと要約

AttentiveNAS は、精度-FLOPs パレートフロントを向上させるために、BestUp および WorstUp と呼ばれる注目型サンプリング戦略を導入することで、ニューラルアーキテクチャサーチを改善した。491 MFLOPs の低消費で ImageNet のトップ-1精度 80.7% を達成し、MobileNetV3 や FBNetV3 などのモデルを上回った。

ABSTRACT

Neural architecture search (NAS) has shown great promise in designing state-of-the-art (SOTA) models that are both accurate and efficient. Recently, two-stage NAS, e.g. BigNAS, decouples the model training and searching process and achieves remarkable search efficiency and accuracy. Two-stage NAS requires sampling from the search space during training, which directly impacts the accuracy of the final searched models. While uniform sampling has been widely used for its simplicity, it is agnostic of the model performance Pareto front, which is the main focus in the search process, and thus, misses opportunities to further improve the model accuracy. In this work, we propose AttentiveNAS that focuses on improving the sampling strategy to achieve better performance Pareto. We also propose algorithms to efficiently and effectively identify the networks on the Pareto during training. Without extra re-training or post-processing, we can simultaneously obtain a large number of networks across a wide range of FLOPs. Our discovered model family, AttentiveNAS models, achieves top-1 accuracy from 77.3% to 80.7% on ImageNet, and outperforms SOTA models, including BigNAS and Once-for-All networks. We also achieve ImageNet accuracy of 80.1% with only 491 MFLOPs. Our training code and pretrained models are available at https://github.com/facebookresearch/AttentiveNAS.

研究の動機と目的

• 二段階 NAS における均一サンプリングの非効率性を解決する。これは、パレート改善の可能性に差があるにもかかわらず、すべての候補ネットワークを同等に扱うためである。
• トレーニング中に現在の最良または最悪のパレートフロント上にあるネットワークを戦略的にサンプリングすることで、パフォーマンスのパレートフロントを改善する。
• トレーニング損失と精度予測器を用いて、最良または最悪のパレートフロント上にあるネットワークを識別・優先する、効率的で低オーバーヘッドの手法を開発する。
• 再トレーニングや後処理を一切行わずに、優れた精度-FLOPs のトレードオフを達成し、多様な高性能モデルのファミリーを生成する。

提案手法

• BestUp（現在の最良パレートフロントの改善に注力）と WorstUp（最悪パフォーマンスのモデルの改善に注力）の2つの注目型サンプリング戦略を提案する。
• トレーニング損失と事前学習済み精度予測器を代理指標として用い、トレーニング中に最良または最悪のパレートフロント上にあるネットワークを効率的に同定する。
• 二段階 NAS の重み共有トレーニングフェーズに注目型サンプリングを統合し、計算効率を維持しながらモデル品質を向上させる。
• 最終的な重み共有モデルに対して進化的探索を適用し、多様な FLOPs 範囲にわたる高性能アーキテクチャを発見する。
• 203 MFLOPs から 709 MFLOPs の範囲にわたる、それぞれのターゲット FLOPs バジェットに最適化されたモデルのファミリーを、1つの統一されたトレーニングプロセスから生成する。
• トレーニング後、元の ImageNet 検証セットを用いてパフォーマンスを評価し、先行手法と公平な比較を保証する。

Figure 1: Comparison of AttentiveNAS with prior NAS approaches [ 36 , 10 , 43 , 3 , 35 ] on ImageNet.

実験結果

リサーチクエスチョン

• RQ1 最良または最悪のパレートフロントに注目するサンプリング戦略が、均一サンプリングに比べて、探索されたモデルの最終精度を向上させることができるか？
• RQ2 トレーニング中に最悪パレートモデルのパフォーマンスを改善することで、全体のパレートフロントパフォーマンスが向上するか？
• RQ3 トレーニング損失と予測精度の両方の代理信号は、効果的な注目型サンプリングを導く上で、どのように比較されるか？
• RQ4 追加の再トレーニングや後処理なしに、注目型サンプリングが SOTA の精度-FLOPs トレードオフを達成できるか？
• RQ5 NAS サンプリング戦略において、探索と活用の最適なバランスは何か？

主な発見

• WorstUp-1M (acc) は、200±10 MFLOPs 範囲で Uniform より 0.3% のトップ-1精度が高く、最悪パフォーマンスのモデルの改善が全体のパレートフロントを向上させることを示した。
• WorstUp-50 (acc) および WorstUp-1M (acc) は、Uniform や BestUp 戦略よりも下限と第1四分位数の精度が顕著に向上し、パレートフロントの下限が改善された。
• BestUp-3 (loss) は、探索と活用のバランスを効果的にとることで、Uniform や他の BestUp 変種を上回る全体的なパフォーマンスを達成した。
• AttentiveNAS-A5 は、491 MFLOPs の低消費で ImageNet で 80.1% のトップ-1精度を達成し、同程度の FLOPs 制約下での MobileNetV3 や FBNetV3 を上回った。
• AttentiveNAS-A6 は、709 MFLOPs で 80.7% のトップ-1精度を達成し、700+ MFLOPs 範囲のモデルにおいて新しい SOTA を樹立した。
• 本手法は、すべての FLOPs 範囲で SOTA の精度を達成し、BigNAS、OFA、EfficientNet、FBNetV3 などの確立されたベースラインを上回った。

Figure 2: An illustration of the architecture sampling procedure in training two-stage NAS. At each training step, a single or several sub-networks are sampled from a pre-defined search space. In our implementation, a sub-network is specified by a set of choices of input resolution, channel widths,