[論文レビュー] SparseNet: A Sparse DenseNet for Image Classification

Wenqi Liu, Kun Zeng|arXiv (Cornell University)|Apr 15, 2018

Advanced Neural Network Applications参考文献 1被引用数 26

ひとこと要約

この論文では、各層に対して最近接および遠くのスキップ接続のみを保持することで、O(L²)からO(L)に接続数を削減するスパースな変種であるSparseNetを提案する。これにより、パラメータと計算の効率性が向上し、より深い・広いネットワークが可能になる。SparseNetはCIFAR-10およびSVHNでSOTA性能を達成し、DenseNetを上回るが、サイズは2.6倍小さく、3.7倍速い。

ABSTRACT

Deep neural networks have made remarkable progresses on various computer vision tasks. Recent works have shown that depth, width and shortcut connections of networks are all vital to their performances. In this paper, we introduce a method to sparsify DenseNet which can reduce connections of a L-layer DenseNet from O(L^2) to O(L), and thus we can simultaneously increase depth, width and connections of neural networks in a more parameter-efficient and computation-efficient way. Moreover, an attention module is introduced to further boost our network's performance. We denote our network as SparseNet. We evaluate SparseNet on datasets of CIFAR(including CIFAR10 and CIFAR100) and SVHN. Experiments show that SparseNet can obtain improvements over the state-of-the-art on CIFAR10 and SVHN. Furthermore, while achieving comparable performances as DenseNet on these datasets, SparseNet is x2.6 smaller and x3.7 faster than the original DenseNet.

研究の動機と目的

• DenseNetの高コストなパラメータと計算量を低減すること。これは、O(L²)の接続により深さに比例して2乗的に増加するため。
• DenseNetの途中のスキップ接続をプルーニングすることで、モデルの複雑さを低減しつつ性能を維持または向上させられるかを検討すること。
• スパース接続構造下におけるネットワークの深さ、幅（成長率）、パス長（接続数）が性能に与える影響を調査すること。
• 注目機構（attention mechanism）がスパース接続構造下で性能を向上させるかを検証すること。
• DenseNetやResNet、CondenseNetといったSOTAモデルと比較して、より優れたパラメータと計算の効率性を達成すること。

提案手法

• 各層に対して最も近いおよび最も遠い接続のみを保持することで、DenseNetをスパース化し、全接続数をO(L²)からO(L)に削減する。
• ブロック単位のスパース接続パターンを導入し、各層が直前の2つの層（最近接および最も遠い層）にのみ接続するようにし、中間の接続をプルーニングする。
• 構造的なスパース化戦略を採用：あるパス長に対して、最も遠いおよび最も近い接続を保持する（例：パス長14の場合に7-7を採用）。ランダムなプルーニングを避ける。
• 学習可能な注目モジュールを導入し、特徴マップの重みを動的に調整することで、パラメータの増加をほとんど抑えつつ表現学習を向上させる。
• 深さ（28, 52, 76層）、成長率（k ∈ [6,26]）、パス長（接続数）を変化させながらネットワークアーキテクチャを最適化し、総パラメータ数を約100万に近づける。
• 公平な比較のため、DenseNetに準拠した学習率および重み減衰スケジュールを用いて、標準的な最適化プロトコルでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 DenseNetのスキップ接続数をO(L²)からO(L)に削減することで、モデルサイズとFLOPsを低減しつつ、性能を維持または向上させられるか？
• RQ2 スパース化の際、保持すべき接続の最適戦略は何か？遠くのもの、近いもの、あるいは両者のバランスの取り方か？
• RQ3 深さ、成長率、パス長が、スパースネットワークの一般化性能と効率性にどのように影響するか？
• RQ4 注目モジュールを統合することで、スパース接続構造下でも性能がさらに向上するか？効率性は損なわれないか？
• RQ5 SparseNetは、CIFAR-10、CIFAR-100、SVHNでDenseNetや他のSOTAモデルよりも顕著に効率的であると同時に、SOTA性能を達成できるか？

主な発見

• SparseNetはCIFAR-10で3.40%のテスト誤差を達成し、最良のDenseNet-BCモデル（3.46%）を上回るが、パラメータ数は2.6倍少ない。
• 推論において、最良のDenseNetモデルと比較してSparseNetは3.7倍速く、精度は同等ながらFLOPsが顕著に削減されている。
• 7-7スパース化戦略（7つの遠くの接続＋7つの最近接接続）がCIFAR-10で最も低い誤差率を達成し、10-4、4-10、0-14の変種を上回った。
• 最適なモデルの深さは28〜76層の間であり、52層が最良の性能を示しており、極端な深さや幅だけでは最適でないことが示された。
• 注目モジュールはCIFAR-10で0.15%の性能向上をもたらしたが、SEモジュールはほとんど影響がなく、この設定下では注目機構がチャネルワイドな再スケーリングよりも効果的であることが示唆された。
• SparseNetは、事前活性化ResNet（10001層）およびCondenseNetと比較して、より高いパラメータ効率性を達成しており、誤差は低く、パラメータ数は10倍少ない。