[論文レビュー] Towards Principled Design of Deep Convolutional Networks: Introducing SimpNet

Seyyed Hossein Hasanpour, Mohammad Rouhani+3 more|arXiv (Cornell University)|Feb 17, 2018

Advanced Neural Network Applications参考文献 2被引用数 21

ひとこと要約

この論文では、効率性とパフォーマンスを重視する原理的なアーキテクチャ原則に基づいて設計された軽量な深層畳み込みニューラルネットワーク、SimpNetを紹介する。新規のSAFプーリングと最小限で根拠のある設計選択を採用することで、ResNet や DenseNet よりも2〜25倍少ないパラメータ数とFLOPsで、CIFAR-10、CIFAR-100、MNIST、SVHNの各ベンチマークで最先端の精度を達成した。

ABSTRACT

Major winning Convolutional Neural Networks (CNNs), such as VGGNet, ResNet, DenseNet, \etc, include tens to hundreds of millions of parameters, which impose considerable computation and memory overheads. This limits their practical usage in training and optimizing for real-world applications. On the contrary, light-weight architectures, such as SqueezeNet, are being proposed to address this issue. However, they mainly suffer from low accuracy, as they have compromised between the processing power and efficiency. These inefficiencies mostly stem from following an ad-hoc designing procedure. In this work, we discuss and propose several crucial design principles for an efficient architecture design and elaborate intuitions concerning different aspects of the design procedure. Furthermore, we introduce a new layer called {\it SAF-pooling} to improve the generalization power of the network while keeping it simple by choosing best features. Based on such principles, we propose a simple architecture called {\it SimpNet}. We empirically show that SimpNet provides a good trade-off between the computation/memory efficiency and the accuracy solely based on these primitive but crucial principles. SimpNet outperforms the deeper and more complex architectures such as VGGNet, ResNet, WideResidualNet \etc, on several well-known benchmarks, while having 2 to 25 times fewer number of parameters and operations. We obtain state-of-the-art results (in terms of a balance between the accuracy and the number of involved parameters) on standard datasets, such as CIFAR10, CIFAR100, MNIST and SVHN. The implementations are available at \href{url}{https://github.com/Coderx7/SimpNet}.

研究の動機と目的

• VGGNet や ResNet のような深層で複雑なCNNは、高い精度を達成するが、計算量とメモリ使用量が多すぎて非効率であるという問題に対処する。
• SqueezeNet のような軽量ネットワークは、アドホックな設計により精度を犠牲にして効率性を追求するというトレードオフを克服する。
• 微調整可能で自動アーキテクチャ探索が可能な、効率的なCNNのための原理的な設計フレームワークを確立する。
• 視認遮蔽や視点変動を模倣することで一般化性能を向上させる、新しいプーリング機構、SAFプーリングを導入する。
• 健全な設計原則に従えば、単純で浅いアーキテクチャでも、より深く重いモデルを上回る性能を発揮できることを示す。

提案手法

• 効率性、深さ、カーネルサイズ、プーリング操作に焦点を当てたアーキテクチャ設計原則のセットを提案し、体系的なネットワーク構築を支援する。
• SAFプーリング（選択的活性フィルタリング）を導入し、チャンネルごとの最大活性をまずプールし、その後でランダムに一部を削除することで、現実世界のデータ変動を模倣する。
• 残差接続や複雑なスキップ接続を避ける、3〜5個の畳み込みブロックでのみ構成される最小限で深いネットワークとしてSimpNetを設計する。
• 標準的なReLU非線形性とバッチ正則化を使用するが、畳み込みブロックやハイウェイ接続のようなアーキテクチャの複雑さは避ける。
• データオーグメンテーションを用いない標準ベンチマーク（CIFAR-10/100、MNIST、SVHN）で訓練および評価を行い、アーキテクチャ性能を孤立して評価する。
• 各設計原則およびSAFプーリングの必要性を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 最小限で原理的なCNN設計は、顕著に少ないパラメータ数で、より深く複雑なアーキテクチャを上回る精度を達成できるか？
• RQ2 SAFプーリングは、モデルの複雑さを増さずに一般化性能をどのように向上させるか？
• RQ3 効率的で正確なネットワーク設計を可能にする主なアーキテクチャ原則は何か？
• RQ4 ネットワークのスリム化されたバージョンは、少ないパラメータ数で重いモデルを上回る性能を維持できるか？
• RQ5 データオーグメンテーションやアンサンブル手法なしで、単純なアーキテクチャが最先端の結果を達成できるか？

主な発見

• SimpNetはCIFAR-100で548万パラメータでトップ-1精度95.56％を達成し、170万パラメータのResNet-110（95.56％）と1100万パラメータのWide ResNet（95.56％）を上回ったが、パラメータ数がはるかに少ない。
• CIFAR-10では890万パラメータで95.89％の精度を達成し、93.57％のResNet-110（93.57％）と95.83％のWide ResNet（95.83％）を上回ったが、パラメータ数が少ない。
• 30万パラメータのスリム化されたSimpNetバージョンは、MNISTで99.73％の精度を達成し、データオーグメンテーションなしのモデルの中で2位となった。
• SVHNでは1.648％の誤差率を達成し、2.01％のResNet（2.01％）と1.79〜1.59％のDenseNet（1.79-1.59％）を上回ったが、パラメータ数が少ない。
• アブレーションスタディの結果、SAFプーリングを含む各設計原則が不可欠であることが確認された。どのコンponentを削除しても性能が低下した。
• 30万〜60万パラメータの範囲ですら、CIFAR-10およびCIFAR-100でResNet（475K）とWide ResNet（600K）を上回る性能を示し、パラメータスケーリングに対して強いロバストネスを示した。