[論文レビュー] EffNet: An Efficient Structure for Convolutional Neural Networks

Ido Freeman, Lutz Roese-Koerner+1 more|arXiv (Cornell University)|Jan 19, 2018

Advanced Neural Network Applications参考文献 21被引用数 14

ひとこと要約

EffNetは、深度分離畳み込みを再考し、特徴の流れを最適化することで、CNNにおける計算コストを削減する新しい効率的な畳み込みブロックを提案する。これにより、顕著に少ないFLOPsで最先端の精度を達成する。特に、MobileNet や ShuffleNet がボトルネックに苦しむスリムモデルにおいて顕著な効果を示す。

ABSTRACT

With the ever increasing application of Convolutional Neural Networks to customer products the need emerges for models to efficiently run on embedded, mobile hardware. Slimmer models have therefore become a hot research topic with various approaches which vary from binary networks to revised convolution layers. We offer our contribution to the latter and propose a novel convolution block which significantly reduces the computational burden while surpassing the current state-of-the-art. Our model, dubbed EffNet, is optimised for models which are slim to begin with and is created to tackle issues in existing models such as MobileNet and ShuffleNet.

研究の動機と目的

• MobileNet や ShuffleNet などの既存の軽量CNNが、スリムで低容量のモデルに適用された場合に生じる非効率性を解消すること。
• 狭いネットワークにおいて性能を低下させる深度分離畳み込み内のデータフローのボトルネックを克服すること。
• 高い精度を維持しながら計算コストを顕著に削減する統合的で効率的な畳み込みブロックを設計すること。
• Pruning や量子化といった後処理の圧縮技術に依存せずに、モデル効率を最適化すること。
• FLOPsを増加させずに、リソース制約のあるハードウェア上に、より深く、より正確なネットワークをデプロイ可能にするために、計算コストを最小限に抑えること。

提案手法

• 空間的およびチャネル別畳み込みを分離する新しい畳み込みブロックを導入。深度分離畳み込みに類似しているが、データフローが改善されている。
• バッチ正規化の後に標準的なReLU活性化関数を、より多くの特徴情報を保持するためのリーキーReLUに置き換える。
• 代表的表現能力を向上させるために、アーキテクチャにネイティブに2の深度乗数を統合。FLOPsの増加は顕著でない。
• 入力チャネル数に応じて、最初のポイントワイド層の出力チャネル数を学習可能な拡張率に基づいて調整し、ボトルネックを軽減。
• 冗長な計算を回避し、学習のダイナミクスを改善するために、線形のポイントワイド層の後に非線形活性化関数を適用。
• 既存のCNNアーキテクチャにおける標準的および深度分離畳み込みの即時置換として、このブロックを適用。

実験結果

リサーチクエスチョン

• RQ1 MobileNet や ShuffleNet がボトルネックに苦しむスリムで狭いアーキテクチャに適用された場合、軽量CNNの効率性と精度をどのように向上させられるか？
• RQ2 深度分離畳み込みブロックにどのような変更を加えることで、計算コストを削減しながら、モデル精度を維持または向上できるか？
• RQ3 バッチ正規化の後にReLUをリーキーReLUに置き換えると、軽量CNNブロックにおける性能にどのような影響を与えるか？
• RQ4 MobileNet や ShuffleNet よりもFLOPsと精度の両面で優れた、統合的で効率的なブロックを設計できるか？特にスモールモデルにおいて。
• RQ5 提案されたブロックにより、計算コストを増加させずに、低容量ハードウェア上に、より深くまたは広いネットワークをどれほど実装可能にすることができるか？

主な発見

• CIFAR-10では、4410万FLOPs（ベースラインの0.55倍）で83.20％のトップ1精度を達成。MobileNet v2（79.10％）は同程度のFLOPsレベルで、効率が劣る。
• SVHNでは、22.5億FLOPs（ベースラインの0.63倍）で87.80％の精度を達成。MobileNet v2（87.16％）を下回らないFLOPsで、より高い精度を達成。
• GTSRBでは、12.1億FLOPs（ベースラインの0.51倍）で93.74％の精度を達成。MobileNet v2（92.82％）を下回らないFLOPsで、より高い精度を達成。
• 改良版MobileNet（mob_imp）はSVHNで88.78％の精度を達成するが、25.1億FLOPs（ベースラインの0.70倍）を要し、EffNetよりも顕著にコストが高くなる。
• ReLUや線形活性化関数の代わりにリーキーReLUを使用することで性能が向上。実験では、最初のポイントワイド層が非線形性の恩恵を受けることが示された。
• 提案されたブロックは、さまざまな拡張率に対して頑健であり、特にFLOPs予算が低い場合に一貫した性能向上を示す。これは、モバイルおよび埋め込みデプロイメントに適していることを示している。