[論文レビュー] Accelerating Deep Neural Networks with Spatial Bottleneck Modules

Junran Peng, Lingxi Xie+3 more|arXiv (Cornell University)|Sep 7, 2018

Advanced Neural Network Applications参考文献 38被引用数 9

ひとこと要約

本稿では、空間的解像度をストライド2の畳み込みとその後に続くデコンボリューションによって低減することで、畳み込みニューラルネットワークの推論速度を向上させる軽量なアーキテクチャ的コンponent、空間ボトルネックモジュールを提案する。ImageNetおよびCIFAR-100において、精度を維持または向上させつつ最大2倍の推論速度向上を達成した。この手法は空間ドメインにおいて独立して動作し、既存のチャネル単位の圧縮技術と補完的である。

ABSTRACT

This paper presents an efficient module named spatial bottleneck for accelerating the convolutional layers in deep neural networks. The core idea is to decompose convolution into two stages, which first reduce the spatial resolution of the feature map, and then restore it to the desired size. This operation decreases the sampling density in the spatial domain, which is independent yet complementary to network acceleration approaches in the channel domain. Using different sampling rates, we can tradeoff between recognition accuracy and model complexity. As a basic building block, spatial bottleneck can be used to replace any single convolutional layer, or the combination of two convolutional layers. We empirically verify the effectiveness of spatial bottleneck by applying it to the deep residual networks. Spatial bottleneck achieves 2x and 1.4x speedup on the regular and channel-bottlenecked residual blocks, respectively, with the accuracies retained in recognizing low-resolution images, and even improved in recognizing high-resolution images.

研究の動機と目的

• 深層ニューラルネットワークにおける畳み込み層の高い計算コスト、特にリアルタイム応用における課題に対処すること。
• 既存のチャネル単位の高速化手法とは対照的に、未だ十分に活用されていない空間ドメインの圧縮を、補完的アプローチとして探求すること。
• FLOPsを削減するがネットワークの深さを増加させない汎用的かつ交換可能なモジュールを設計すること。
• さまざまなネットワークの深さにおいて、空間スパarsificationが認識精度および推論速度に与える影響を評価すること。
• 空間サンプリングの低減が、特により深いネットワークにおいて一般化性能を向上させることを示すこと。

提案手法

• 空間ボトルネックモジュールは畳み込みを2段階に分解する：まずストライド2の畳み込みで特徴マップの空間次元を半分にダウンサンプリングし、その後にデコンボリューションで元のサイズに復元する。
• 計算量を削減しながら特徴表現を保持するために、チェス盤パターンのサンプリング戦略を用いる。
• 任意の単一の畳み込み層、または連続する2つの畳み込み層に対して、ドロップインで置き換え可能なように設計されている。
• 2つの畳み込み層を置き換える際は、非線形活性化関数および正規化層を保持するが、畳み込みとデコンボリューションの間にそれらを省略することで線形性を維持し、深さの増加を防ぐ。
• このアプローチは、通常版およびチャネルボトルネック付きの両方のResNetアーキテクチャにおける残差ブロックに適用された。
• ImageNetおよびCIFAR-100において、SGDとネステロフモーメンタム、データオーグメンテーション、および学習率の段階的減少を用いて、訓練を再びから実施した。

実験結果

リサーチクエスチョン

• RQ1 2段階の畳み込み-デコンボリューション処理による空間解像度の低減が、深層ニューラルネットワークの高速化に有効に機能するか。
• RQ2 空間ボトルネックモジュールによる空間スパース化は、標準的な畳み込み層と比較して認識精度を維持または向上させるか。
• RQ3 空間ボトルネックの性能は、さまざまなネットワークの深さやアーキテクチャにおいてどのように変化するか。
• RQ4 空間ボトルネックは、既存のネットワーク設計と互換性を保ちつつ顕著な高速化を達成できるか。
• RQ5 空間サンプリングの低減は、特により深いネットワークにおいて一般化性能を向上させるか。

主な発見

• 通常の残差ブロックでは2倍の速度向上、チャネルボトルネック付きの残差ブロックでは1.4倍の速度向上を達成し、CIFAR-100では精度に損失が生じなかった。
• ImageNetでは、101層のResNetにおいてトップ1精度が0.47%向上、トップ5精度が0.25%向上し、FLOPsは27%削減された。
• ベースラインと比較して、ResNet-101ではトップ1誤差率が2.03%低下、トップ5誤差率が3.69%低下し、計算量を削減しながら一般化性能が向上したことが示された。
• 学習率が十分に小さい場合、より深いネットワーク（ResNet-34およびResNet-101）において、空間ボトルネックネットワークがテスト精度を向上させた。これは、最適化挙動が改善されたことを示唆している。
• 空間ボトルネックネットワークは、先行手法よりも優れた精度-FLOPsトレードオフを達成しており、精度を犠牲にして速度を上げる手法よりも優れていることがわかった。
• このアプローチは、低解像度および高解像度の画像認識タスクの両方で有効であり、高解像度のImageNet画像においても精度の向上が観察された。