[論文レビュー] Residual Squeeze VGG16

Hussam Qassim, David Feinzimer+1 more|arXiv (Cornell University)|May 5, 2017

Advanced Neural Network Applications参考文献 31被引用数 7

ひとこと要約

本稿では、SqueezeNetのFireモジュールとVGG16に類似したアーキテクチャにおける残差接続を組み合わせた、圧縮された深層畳み込みニューラルネットワークであるResSquVGG16を提案する。Places365-Standardでスクラッチから訓練した結果、モデルサイズが88.4%小さく、学習時間が23.86%速くなりながらも、VGG16と同等の精度（Top-1: 55.2%, Top-5: 78.4%）を達成した。

ABSTRACT

Deep learning has given way to a new era of machine learning, apart from computer vision. Convolutional neural networks have been implemented in image classification, segmentation and object detection. Despite recent advancements, we are still in the very early stages and have yet to settle on best practices for network architecture in terms of deep design, small in size and a short training time. In this work, we propose a very deep neural network comprised of 16 Convolutional layers compressed with the Fire Module adapted from the SQUEEZENET model. We also call for the addition of residual connections to help suppress degradation. This model can be implemented on almost every neural network model with fully incorporated residual learning. This proposed model Residual-Squeeze-VGG16 (ResSquVGG16) trained on the large-scale MIT Places365-Standard scene dataset. In our tests, the model performed with accuracy similar to the pre-trained VGG16 model in Top-1 and Top-5 validation accuracy while also enjoying a 23.86% reduction in training time and an 88.4% reduction in size. In our tests, this model was trained from scratch.

研究の動機と目的

• 高い精度を維持しながらモデルサイズと学習時間を削減するコンパクトで深いニューラルネットワークの設計を目的とする。
• リソース制約のあるデバイスへの深層ネットワークのデプロイの課題に対処し、パラメータ効率性と残差学習を組み合わせることを目的とする。
• SqueezeNetのFireモジュールをVGG16に類似したアーキテクチャに残差接続を組み合わせて統合する有効性を検討することを目的とする。
• 大規模なシーンデータセットでスクラッチから訓練した小型で深いネットワークが、競争力のある性能を達成できるかどうかを評価することを目的とする。
• ハイブリッドなアーキテクチャ的要素を用いた、効率的で正確な画像分類のための新しいベースラインを確立することを目的とする。

提案手法

• モデルはVGG16に類似した16層の畳み込み層を採用しているが、標準的な畳み込みブロックの代わりにパラメータ効率性を高めるSqueezeNetのFireモジュールを用いる。
• 各Fireモジュールは、パラメータとFLOPsを削減するための「squeeze層」（1x1畳み込み）と「expand層」（1x1および3x3畳み込み）から構成される。
• 各Fireモジュールの後に残差接続を追加することで、深層ネットワークにおける消失勾配および劣化問題を緩和する。
• モデルは、確率的勾配降下法と重み減衰、データ拡張を用いてMITのPlaces365-Standardデータセットでスクラッチから訓練される。
• アーキテクチャはモジュラー設計となっており、他のネットワーク設計への残差学習の統合を最小限の変更で可能にする。
• モデルサイズと学習時間を、事前学習済みVGG16と比較して測定し、効率性の向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 Fireモジュールと残差接続を備えた深層ネットワークは、顕著に小型かつ高速である一方で、VGG16と同等の性能を達成できるか？
• RQ2 SqueezeNetのパラメータ効率の良いモジュールと残差学習の組み合わせが、深層アーキテクチャにおける学習安定性と精度に与える影響はいかほどか？
• RQ3 Places365-Standardでスクラッチから訓練したモデルが、事前学習済みVGG16の精度にどの程度近づけるか？
• RQ4 VGGに類似した構造において、標準的な畳み込みをFireモジュールに置き換える場合、モデルサイズ、学習時間、精度のトレードオフはどのようなものか？
• RQ5 残差接続は、圧縮された深層ネットワークアーキテクチャにおいて、学習を効果的に安定化できるか？

主な発見

• ResSquVGG16モデルは、Places365-StandardデータセットでバリデーションTop-1精度55.2%、Top-5精度78.4%を達成した。
• 事前学習済みVGG16と比較して、モデルサイズが88.4%削減され、エッジデバイスへのデプロイに非常に適している。
• VGG16と比較して、スクラッチから訓練したにもかかわらず、学習時間が23.86%短縮された。
• 最小限のハイパーパramータチューニングで競争力ある性能を維持した。これは、Fireモジュールと残差接続の統合の有効性を示している。
• パラメータ効率の良いモジュールと残差学習を組み合わせることで、計算コストを低減しつつ高い精度を達成できることを確認した。
• モデルの性能は、大規模データセットでスクラッチから訓練した深くコンパクトなネットワークの実現可能性を裏付けた。