[論文レビュー] AutoSlim: Towards One-Shot Architecture Search for Channel Numbers

Jiahui Yu, Thomas S. Huang|arXiv (Cornell University)|Mar 27, 2019

Advanced Neural Network Applications参考文献 60被引用数 145

ひとこと要約

AutoSlim は、チャネル設定を横断して精度を推定するスリム可能ネットワークを訓練し、資源制約を満たすようにレイヤを貪欲にスリム化し、探索せずに最適なチャネル数を得る。ImageNet で MobileNet 系列と ResNet-50 に対して、ベースラインより速度-精度のトレードオフが改善。

ABSTRACT

We study how to set channel numbers in a neural network to achieve better accuracy under constrained resources (e.g., FLOPs, latency, memory footprint or model size). A simple and one-shot solution, named AutoSlim, is presented. Instead of training many network samples and searching with reinforcement learning, we train a single slimmable network to approximate the network accuracy of different channel configurations. We then iteratively evaluate the trained slimmable model and greedily slim the layer with minimal accuracy drop. By this single pass, we can obtain the optimized channel configurations under different resource constraints. We present experiments with MobileNet v1, MobileNet v2, ResNet-50 and RL-searched MNasNet on ImageNet classification. We show significant improvements over their default channel configurations. We also achieve better accuracy than recent channel pruning methods and neural architecture search methods. Notably, by setting optimized channel numbers, our AutoSlim-MobileNet-v2 at 305M FLOPs achieves 74.2% top-1 accuracy, 2.4% better than default MobileNet-v2 (301M FLOPs), and even 0.2% better than RL-searched MNasNet (317M FLOPs). Our AutoSlim-ResNet-50 at 570M FLOPs, without depthwise convolutions, achieves 1.3% better accuracy than MobileNet-v1 (569M FLOPs). Code and models will be available at: https://github.com/JiahuiYu/slimmable_networks

研究の動機と目的

• リソースが制約された状況で精度を向上させるために、各層のチャネル数をどのように設定すべきかを動機づけ、解決する。
• 多数のアーキテクチャを訓練せずに、チャネル構成を推定・最適化するワンショット法を提案する。
• スリム可能なネットワークが、チャネル構成間の相対性能を正確に推定する指標として機能しうることを示す。
• 複数の FLOPs 予算下で、ImageNet に対する MobileNet 系、MNasNet、ResNet-50 の最先端の精度-効率トレードオフを実証する。

提案手法

• サンドイッチルールとインプレース蒸留を用いて、任意の幅で動作できるスリム可能ネットワークを訓練する。
• 各層のチャネル群をスリム化した後の検証精度を評価し、最小の精度低下を生むものを削除して、貪欲に層をスリム化する。
• 指定された資源制約（FLOPs、待機、メモリ、またはモデルサイズ）を満たすまで反復する。
• 訓練済みのスリム可能モデルを用いて、即時推論と相対性能推定のためのサブアーキテクチャをサンプルする。
• 探索後、得られた最適化アーキテクチャをスクラッチから訓練する（あるいはスリム可能ネットワークとして共同訓練する）ことで完全エポックを行う。
• ImageNet で、デフォルトのチャネル構成、チャネルプルーニングのベースライン、NASベースの手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 1つのスリム可能ネットワークが、多くのチャネル構成の相対性能を正確に推定できるか。
• RQ2 訓練済みのスリム可能モデルに対する貪欲なスリム化手法が、与えられた資源制約下でほぼ最適なチャネル構成を生み出せるか。
• RQ3 最適化されたチャネル構成は、標準的なヒューリスティクス、プルーニング、あるいは従来の NAS の結果を超えて、精度と効率を向上させるか。
• RQ4 異なる FLOPs 予算下で、AutoSlim 由来の構成は MobileNet 系、MNasNet、ResNet-50 でどのように性能を発揮するか。

主な発見

• AutoSlim は、FLOPs が一致する予算下で、MobileNet v1/v2、MNasNet、ResNet-50 のデフォルトのチャネル構成より Top-1 精度を向上させる。
• AutoSlim-MobileNet-v2 は 305M FLOPs で 74.2% top-1 を達成、デフォルトの MobileNet-v2 を 2.4%ポイント上回り、317M FLOPs の RL 検索済み MNasNet を 0.2%上回る。
• AutoSlim-ResNet-50 は 570M FLOPs（深度wise 畳み込みなし）で、569M FLOPs の MobileNet-v1 より精度を 1.3% ポイント高くする。
• 最適化されたチャネル構成は、デフォルトと比べて浅い層のチャネルを減らし、深い層のチャネルを増やす傾向がある、MobileNet v2 の分析で見られる。
• AutoSlim は、比較可能な計算予算下で、最近のチャネルプルーニングや NAS ベースのベースラインを ImageNet の分類タスクで上回ることができる。