[論文レビュー] Universally Slimmable Networks and Improved Training Techniques

Jiahui Yu, Thomas S. Huang|arXiv (Cornell University)|Mar 12, 2019

Advanced Neural Network Applications参考文献 23被引用数 16

ひとこと要約

本論文は、事前に定義された離散的な幅以外の連続的な幅範囲内で、任意の幅で効率的に推論が可能な1つのニューラルネットワークを学習する方法である普遍的スリムネットワーク（US-Nets）を提案する。スライムネットワークを連続的な幅スペクトルに拡張することで、個別に訓練されたモデルや離散的スリミングネットワークよりも、推論および学習の計算コストを最小限に抑えつつ、あらゆる幅で優れた精度を達成する。

ABSTRACT

Slimmable networks are a family of neural networks that can instantly adjust the runtime width. The width can be chosen from a predefined widths set to adaptively optimize accuracy-efficiency trade-offs at runtime. In this work, we propose a systematic approach to train universally slimmable networks (US-Nets), extending slimmable networks to execute at arbitrary width, and generalizing to networks both with and without batch normalization layers. We further propose two improved training techniques for US-Nets, named the sandwich rule and inplace distillation, to enhance training process and boost testing accuracy. We show improved performance of universally slimmable MobileNet v1 and MobileNet v2 on ImageNet classification task, compared with individually trained ones and 4-switch slimmable network baselines. We also evaluate the proposed US-Nets and improved training techniques on tasks of image super-resolution and deep reinforcement learning. Extensive ablation experiments on these representative tasks demonstrate the effectiveness of our proposed methods. Our discovery opens up the possibility to directly evaluate FLOPs-Accuracy spectrum of network architectures. Code and models are available at: https://github.com/JiahuiYu/slimmable_networks

研究の動機と目的

• スライムネットワークを連続的な幅スペクトルに拡張することで、任意の幅（離散的幅に限定されない）で実行可能なニューラルネットワークを実現すること。
• バッチ正規化を伴う普遍的スリムネットワークの訓練における課題に取り組むこと。従来、訓練時と推論時の統計の不一致により、性能が低下するため。
• 新しい訓練手法を用いて、普遍的スリムネットワークの訓練効率とテスト精度を向上させること。
• 複数の個別に訓練されたモデルを用意する必要なく、1つのモデルで FLOPs-精度トレードオフスペクトルを直接評価可能にすること。

提案手法

• 訓練後処理によるバッチ正規化統計計算法を提案：モデル重みが固定された後、小さなサブセット（例：1,024枚の画像）のバッチ統計の移動平均または正確な平均を計算することで、正確で高速な推論を可能にする。
• サンドイッチルールを導入：訓練中、1イテレーションあたり複数の幅（例：4幅）をサンプリングし、それぞれの損失を計算した後、重み付き平均で結合することで、訓練の安定化と一般化性能の向上を図る。
• インプレース distillation を開発：訓練中に、より広いサブネットワークからスリムなサブネットワークへ知識を抽出することで、追加の推論コストなしに、あらゆる幅での精度を向上させる。
• バッチ正規化を変更し、訓練中に各幅の統計を蓄積しない。代わりに、すべてのBN統計を訓練後、代表的なデータサブセットを用いて計算する。
• 幅が広いネットワークがスリムなネットワークより性能が低下しないことを理論的に正当化するため、有界な残差誤差定式化を採用する。これにより、普遍的スリミングの可能性を裏付ける。
• ハードウェア整列（例：GPUワープサイズ）を考慮し、チャネル数を整えるために幅除数（d=8）を採用することで、推論速度を向上させ、MobileNetとのFLOPs比較を公平に保つ。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークを、離散的幅に限定されない連続的な幅範囲内で、任意の幅で正確に動作させることが可能か？
• RQ2 普遍的スリムネットワークにおいて、バッチ正規化を効果的に処理することで、あらゆる幅で精度を維持できるか？
• RQ3 個別に訓練されたモデルや離散的スリミングベースラインと比較して、普遍的スリムネットワークの性能を向上させるための訓練戦略は何か？
• RQ4 1つのモデルを用いて、ネットワークのFLOPs-精度スペクトルを直接評価可能か？そのモデルデプロイメントへの影響は何か？
• RQ5 幅の下限、幅除数、1イテレーションあたりにサンプリングする幅の数といったハイパーパrameterが、US-Netsの性能に与える影響は何か？

主な発見

• サンドイッチルールおよびインプレース distillation を用いて訓練された US-Nets は、1つのモデルでImageNetにおけるトップ-1誤差を28.2％に低下させ、個別に訓練されたMobileNet v1や4スイッチスリミングベースラインと比較して、あらゆる幅で優れた性能を示した。
• 1,024枚の画像から計算された訓練後バッチ正規化統計は、フルバッチ統計とほぼ同一の性能を達成し、高速かつ正確な推論を可能にした。
• US-Netの性能は、その最小幅（k₀）によって本質的に制限される。0.25×から1.0×まで訓練されたモデルは、より高いk₀（例：0.35×や0.05×）を持つモデルよりも高い精度を達成した。
• 幅除数d=8を用いることで、わずかに性能が向上し、ハードウェアフレンドリーなチャネル数を確保した。d=1と比較して顕著な精度の低下は見られなかった。
• 1イテレーションあたり4つの幅をサンプリングすることで、精度と効率のトレードオフが最良のバランスに達した。5つの幅はわずかな向上をもたらしたが、3つの幅では性能が劣った。
• インプレース distillation は、追加の推論コストなしに、あらゆる幅でのテスト精度を顕著に向上させた。これは、堅牢なスリミングネットワークの訓練に不可欠な要素であると考えられる。