[論文レビュー] Lets keep it simple, Using simple architectures to outperform deeper and more complex architectures

Seyyed Hossein Hasanpour, Mohammad Rouhani+2 more|arXiv (Cornell University)|Aug 22, 2016

Advanced Neural Network Applications参考文献 56被引用数 56

ひとこと要約

この論文では、CIFAR-10、MNIST、CIFAR-100、SVHN、ImageNetの複数のベンチマークで最先端またはそれに近い性能を達成するように、原理的で明確なアーキテクチャ的選択に基づいて設計された、13層の軽量畳み込みニューラルネットワークアーキテクチャであるSimpleNetを提案する。これは、VGGNet や ResNet といったより深く複雑なモデルを上回る性能を発揮するが、パラメータ数とFLOPsを2〜25倍も削減している。

ABSTRACT

Major winning Convolutional Neural Networks (CNNs), such as AlexNet, VGGNet, ResNet, GoogleNet, include tens to hundreds of millions of parameters, which impose considerable computation and memory overhead. This limits their practical use for training, optimization and memory efficiency. On the contrary, light-weight architectures, being proposed to address this issue, mainly suffer from low accuracy. These inefficiencies mostly stem from following an ad hoc procedure. We propose a simple architecture, called SimpleNet, based on a set of designing principles, with which we empirically show, a well-crafted yet simple and reasonably deep architecture can perform on par with deeper and more complex architectures. SimpleNet provides a good tradeoff between the computation/memory efficiency and the accuracy. Our simple 13-layer architecture outperforms most of the deeper and complex architectures to date such as VGGNet, ResNet, and GoogleNet on several well-known benchmarks while having 2 to 25 times fewer number of parameters and operations. This makes it very handy for embedded systems or systems with computational and memory limitations. We achieved state-of-the-art result on CIFAR10 outperforming several heavier architectures, near state of the art on MNIST and competitive results on CIFAR100 and SVHN. We also outperformed the much larger and deeper architectures such as VGGNet and popular variants of ResNets among others on the ImageNet dataset. Models are made available at: https://github.com/Coderx7/SimpleNet

研究の動機と目的

• 高い計算量とメモリ使用量を要するが、強力な精度を示す深く複雑なCNN（例：VGGNet や ResNet）の非効率性を是正すること。
• 効率性を追求するあまり性能を犠牲にする既存の軽量アーキテクチャの精度制限を克服すること。
• 洗練された設計が施された単純なアーキテクチャが、顕著に低いモデル複雑度で優れた精度を達成できることを示すこと。
• リソース制約のある環境に適した効率的で正確なCNNを設計するための原則的フレームワークを提供すること。
• CIFAR-10、CIFAR-100、SVHN、MNIST、ImageNetといった複数の標準ビジョンデータセットで、重いアーキテクチャを上回る性能を発揮することで、軽量モデルの新しいベンチマークを確立すること。

提案手法

• 計算効率と性能に焦点を当てた一連の体系的なアーキテクチャ的原則に基づき、13層の畳み込みニューラルネットワークを設計する。
• 空間次元を早期に低減するため、ストライド付き畳み込みとダウンサンプリング層を採用し、計算負荷を最小限に抑える。
• 訓練の安定化と高速化のためにバッチ正規化とReLU活性化関数を採用する。
• 表現力とパラメータ効率のバランスを取るために、各層のフィルターサイズとチャネル数を最適化する。
• 一般化性能を向上させるために、標準的なデータオーグメンテーションおよび最適化技術（例：モーメンタム付きSGD）を適用する。
• すべてのベンチマークで一貫したアーキテクチャを採用することで、公平な比較と一般化能力の検証を実現する。

実験結果

リサーチクエスチョン

• RQ1 VGGNet や ResNet といったより深い複雑なモデルを上回る精度を達成しながら、顕著に少ないパラメータ数で動作する、単純で浅いCNNアーキテクチャは可能か？
• RQ2 アーキテクチャの単純さと原則的設計選択によって、性能を損なわず、計算およびメモリのオーバーヘッドをどの程度削減できるか？
• RQ3 CIFAR-10、CIFAR-100、SVHN、MNIST、ImageNetといった標準ベンチマークにおいて、SimpleNet といった軽量アーキテクチャは最先端モデルと比べてどうなるか？
• RQ4 ハイパーパramータと層数が少ない最小限のアーキテクチャ設計であっても、多様なビジョンタスクで競争力あるまたは優れた精度を達成できるか？
• RQ5 タスク固有のチューニングなしに、1つの統一された軽量アーキテクチャが複数のデータセットで強力な性能を発揮できるか？

主な発見

• SimpleNetはCIFAR-10で最先端の精度を達成し、VGGNet や ResNet の変種よりも優れた性能を発揮した。
• ImageNetでは、パラメータ数が著しく少ないにもかかわらず、VGGNet や標準的なResNetの変種よりも優れた性能を発揮した。
• MNISTでは最小限のアーキテクチャで近似最先端の性能を達成し、小さなデータセットでも強力な一般化能力を示した。
• より深いモデルと比較して、パラメータ数とFLOPsを2〜25倍まで削減したため、組み込みシステムに非常に適している。
• CIFAR-100およびSVHNでも競争力ある結果を達成し、多様なビジョンベンチマークにおける強靭性を確認した。
• 著者らは最終版で長年放置されていたImageNetおよびCIFAR-10/100の結果を更新・追加し、モデルの継続的な性能を検証した。