[論文レビュー] HENet:A Highly Efficient Convolutional Neural Networks Optimized for Accuracy, Speed and Storage

Qiuyu Zhu, Ruixin Zhang|arXiv (Cornell University)|Mar 7, 2018

Advanced Neural Network Applications参考文献 15被引用数 3

ひとこと要約

HENetは、グループ畳み込みとチャネルシャッフルを組み合わせ、ブロック内に残差接続と密集接続を統合し、プーリング層を排除することで、精度、速度、モデルサイズの最適化を図った高効率な畳み込みニューラルネットワークアーキテクチャを提案する。実験の結果、CIFAR-10/100およびSVHNでShuffleNetよりも100%以上の高い効率性を達成した。

ABSTRACT

In order to enhance the real-time performance of convolutional neural networks(CNNs), more and more researchers are focusing on improving the efficiency of CNN. Based on the analysis of some CNN architectures, such as ResNet, DenseNet, ShuffleNet and so on, we combined their advantages and proposed a very efficient model called Highly Efficient Networks(HENet). The new architecture uses an unusual way to combine group convolution and channel shuffle which was mentioned in ShuffleNet. Inspired by ResNet and DenseNet, we also proposed a new way to use element-wise addition and concatenation connection with each block. In order to make greater use of feature maps, pooling operations are removed from HENet. The experiments show that our model's efficiency is more than 1 times higher than ShuffleNet on many open source datasets, such as CIFAR-10/100 and SVHN.

研究の動機と目的

• CNNにおけるリアルタイム推論の需要増加に応えるために、精度、速度、モデルサイズの観点から効率性を向上させること。
• ShuffleNet、ResNet、DenseNetなどの既存の軽量モデルの限界を克服し、それらの長所を統合した包括的なアーキテクチャを構築すること。
• 空間的特徴情報の保持を図り、特徴マップの利用効率を向上させるために、プーリング操作を完全に排除すること。
• 計算コストとストレージコストを大幅に削減しながらも、高い性能を維持できるモデルの開発

提案手法

• 各ブロック内で要素ごとの加算（残差スタイル）と連結（密集スタイル）の接続を組み合わせた、特徴再利用と勾配流れの向上を図る新しいブロック設計を導入する。
• チャネル間の情報交換を維持しながら計算量とパラメータ数を削減するため、グループ畳み込みとチャネルシャッフルを採用する。
• 空間分解能の保持とネットワーク全体における特徴マップ利用効率の最大化を図るため、プーリング層を完全に排除する。
• ResNetとDenseNetの両方の特徴を模倣したハイブリッドスキップ接続戦略を採用し、計算オーバーヘッドを増加させることなく表現力の向上を実現する。
• 既存モデルのアーキテクチャ分析を通じて、効率性のトレードオフを焦点にしたネットワークアーキテクチャの最適化を行う。
• 冗長性を最小限に抑え、パラメータ効率を高めた設計により、ストレージと推論時間を削減する。

実験結果

リサーチクエスチョン

• RQ1 グループ畳み込みとチャネルシャッフルをどのように効果的に組み合わせることで、精度を損なわずにモデル効率を向上させられるか？
• RQ2 残差接続と密集接続の統合が、軽量CNNにおける特徴学習にどの程度寄与するか？
• RQ3 プーリング層の排除が、小規模データセットにおける特徴表現と全体的なモデル性能に与える影響は何か？
• RQ4 統合アーキテクチャは、ShuffleNetのような特化型軽量モデルを上回る性能を発揮できるか？
• RQ5 標準ベンチマークにおいて、FLOPs、パラメータ数、推論速度の観点から、提案アーキテクチャは最先端モデルと比べてどの程度優れているか？

主な発見

• HENetは、CIFAR-10、CIFAR-100、SVHNデータセットにおいて、精度対FLOPs比でShuffleNetよりも100%以上の高い効率性を達成した。
• モデルの複雑さが低減されているにもかかわらず、CIFAR-10およびCIFAR-100におけるトップ-1精度が競争力を持ち、最先端の軽量モデルを上回るか同等の性能を示した。
• プーリング層の排除により、空間的特徴マップの保存が向上し、小規模画像認識タスクにおける性能向上に寄与した。
• ブロック内に残差接続と密集接続を統合することで、特徴伝搬と勾配流れが向上し、学習の安定性と精度が向上した。
• ベースラインモデルと比較して、モデルサイズとFLOPsを顕著に削減したため、リソース制約のあるデバイスへのデプロイに適している。
• 多様なデータセットにわたる一般化性能が強く、アーキテクチャの堅牢性とスケーラビリティを確認した。