[論文レビュー] All You Need is a Few Shifts: Designing Efficient Convolutional Neural Networks for Image Classification

Weijie Chen, Di Xie+2 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Neural Network Applications参考文献 38被引用数 11

ひとこと要約

本稿では、深さ方向に分離された畳み込みを置き換えるために、特徴マップに僅かに配置された戦略的なシフト演算のみを適用する、新しい効率的な畳み込みニューラルネットワーク部品であるスパースシフトレイヤー（SSL）を提案する。学習可能なシフトペナルティと量子化に配慮した訓練を導入することで、最小限の計算コストで高い精度を達成可能となり、ImageNetでは563M M-Addsで75.0%のトップ1精度を達成し、MobileNet、ShuffleNet、NASで探索されたモデルよりも精度と推論速度の両面で優れている。

ABSTRACT

Shift operation is an efficient alternative over depthwise separable convolution. However, it is still bottlenecked by its implementation manner, namely memory movement. To put this direction forward, a new and novel basic component named Sparse Shift Layer (SSL) is introduced in this paper to construct efficient convolutional neural networks. In this family of architectures, the basic block is only composed by 1x1 convolutional layers with only a few shift operations applied to the intermediate feature maps. To make this idea feasible, we introduce shift operation penalty during optimization and further propose a quantization-aware shift learning method to impose the learned displacement more friendly for inference. Extensive ablation studies indicate that only a few shift operations are sufficient to provide spatial information communication. Furthermore, to maximize the role of SSL, we redesign an improved network architecture to Fully Exploit the limited capacity of neural Network (FE-Net). Equipped with SSL, this network can achieve 75.0% top-1 accuracy on ImageNet with only 563M M-Adds. It surpasses other counterparts constructed by depthwise separable convolution and the networks searched by NAS in terms of accuracy and practical speed.

研究の動機と目的

• 深さ方向に分離された畳み込みの実用的非効率性（高いメモリ移動オーバーヘッド）を是正すること。
• スパarsityを用いて不要なシフトを削減することで、シフト演算がより効率的になるかどうかを調査すること。
• 1x1畳み込みとスパースシフトのみを用いて、ニューラルネットワークの限られた能力を最大限に活用する、新しい軽量ニューラルネットワークアーキテクチャを設計すること。
• 適切に正則化および量子化されたシフト演算が、精度と推論速度の両面で深さ方向に分離された畳み込みを凌駕できることを実証すること。

提案手法

• 中間特徴マップに僅かに学習されたシフト演算を適用するスパースシフトレイヤー（SSL）を提案し、メモリ移動オーバーヘッドを低減する。
• 最適化中にシフト演算ペナルティを導入し、特徴マップのわずかなサブセットのみをシフトするよう促進する。
• 補間を用いず、シフト演算を微分可能にする量子化に配慮したシフト学習手法を開発する。これにより、推論時の効率性を維持できる。
• 1x1畳み込みとスパースシフトのみを用いて、特徴の多様性と情報の流れを最大限に高める新しいネットワークアーキテクチャ、FE-Netを設計する。
• 幅乗数をハイパーパrameterとして用い、FE-Netにおける精度と計算コストのトレードオフを制御する。
• 逆バッテリーの拡張パスにSEモジュールを統合し、チャネルごとの注目メカニズムを強化し、さらにシフトのスパarsityを向上させる。

実験結果

リサーチクエスチョン

• RQ1 CNNにおいて、僅かに配置された戦略的なシフト演算で十分な空間的情報伝達が可能か？
• RQ2 スパarsityによってメモリ移動を低減することで、シフト演算が深さ方向に分離された畳み込みよりも効率的になるか？
• RQ3 深さ方向に分離された畳み込みを一切使用しないネットワークが、既存のコンactモデルを精度と推論速度の両面で上回れるか？
• RQ4 SEモジュールによるチャネル注目が、SSLベースアーキテクチャにおけるシフトスパarsityとモデル性能に与える影響は？

主な発見

• わずかに配置されたシフト演算で十分に効果的な空間的情報伝達が可能であり、学習済みモデルでは60–80%の特徴マップがシフトされないまま残っている。
• SSLを搭載した本稿で提案するFE-Netは、563M M-AddsでImageNetで75.0%のトップ1精度を達成し、MobileNetV2やNASで探索されたモデルを上回っている。
• GPUおよびCPUの両方で、FE-NetはMobileNetV2よりも顕著に高速な推論を実現しており、32バッチサイズでGPUでは16.1ms、CPUでは1.9秒の推論時間となっている。
• SEモジュールの統合により、シフトスパarsityは69.5%から80.2%に向上し、チャネル注目がスパースシフトの効率性を高めていることが示された。
• SSLを搭載したFE-Netは、深さ方向に分離された畳み込みに基づくモデル（例：MobileNet、ShuffleNet）およびNAS最適化ネットワークを、精度と実用的実行時間の両面で上回っている。
• 量子化に配慮したシフト学習手法により、補間を用いずとも微分可能な学習が可能となり、推論時にハードウェア効率性を維持できる。