[論文レビュー] The Power of Sparsity in Convolutional Neural Networks

Soravit Changpinyo, Mark Sandler+1 more|arXiv (Cornell University)|Feb 21, 2017

Advanced Neural Network Applications参考文献 38被引用数 90

ひとこと要約

この論文はCNNの畳み込みフィルター間の疎なランダム接続アプローチを提案し、高い圧縮率で密なネットワークと同等またはそれを上回る精度を達成できることを示し、接続を時間とともに密にするインクリメンタルトレーニングを検討する。

ABSTRACT

Deep convolutional networks are well-known for their high computational and memory demands. Given limited resources, how does one design a network that balances its size, training time, and prediction accuracy? A surprisingly effective approach to trade accuracy for size and speed is to simply reduce the number of channels in each convolutional layer by a fixed fraction and retrain the network. In many cases this leads to significantly smaller networks with only minimal changes to accuracy. In this paper, we take a step further by empirically examining a strategy for deactivating connections between filters in convolutional layers in a way that allows us to harvest savings both in run-time and memory for many network architectures. More specifically, we generalize 2D convolution to use a channel-wise sparse connection structure and show that this leads to significantly better results than the baseline approach for large networks including VGG and Inception V3.

研究の動機と目的

• リソース制限のあるデバイスでの展開のためにCNNのサイズと計算量の削減を動機づける。
• 固定された疎なチャネル単位の接続が、密な接続の代替となり得るかを、精度の大幅な低下なしに調査する。
• 複数のアーキテクチャにわたるさまざまな圧縮率で、疎なランダム接続を深さ乗数と比較する。
• トレーニングを速め成長を可能にするため、接続を段階的に有効化するインクリメンタルトレーニングを探る。
• 固定された疎パターンを介したハードウェア認識型ネットワーク圧縮の実用的な指針を提供する。

提案手法

• 特徴マップ全体で固定された空間的接続を持つチャネル単位の疎接続構造へ、2D畳み込みを一般化する。
• 出力チャネルが入力チャネルの一部のみに接続する疎なランダム接続を定義し、空間畳み込み構造を保持する。
• 非常に疎なネットワークから開始し、トレーニングを進めるにつれて接続を段階的に密にするインクリメンタルトレーニングを導入する。
• MNIST、CIFAR-10、ImageNet(Inception-V3およびVGG-16n)における複数の圧縮レベルで、疎なランダム接続と深さ乗数を比較する。
• 主要指標としてパラメータ（Params）と乗算-加算（MAdds）を用いて性能を評価し、ImageNet実験では精度をP@1で測定する。

実験結果

リサーチクエスチョン

• RQ1 CNNにおける固定されたチャネル単位の疎接続パターンは、高圧縮時に密なアーキテクチャと比較して精度を維持できるか？
• RQ2 疎なランダム接続は、異なる規模のネットワークにおいてパラメータ効率と精度の点で深さ乗数とどのように比較されるか？
• RQ3 トレーニング中に疎接続を密にするインクリメンタルトレーニングは、最終精度を維持または向上させつつ訓練を加速できるか？
• RQ4 固定された疎接続パターンを用いる場合の、ハードウェアに配慮したCNN設計への実用的な含意は何か？

主な発見

疎度	MAdds	Params	P@1
0.50/0.01	43.0 M	90 k	40.3
0.003	82.0 M	158 k	46.1
0.01	104 M	287 k	52.3
0.03	208 M	724 k	59.5
0.10	628 M	2.3 M	67.2
0.30	1.80 B	6.6 M	73
0.60	3.50 B	13 M	75
1.00	5.70 B	22 M	77
0.05	55.0M	56k	24.6
0.10	75.0M	170k	38.6
0.20	183M	718k	54.2
0.30	439M	1.8M	64.0
0.50	1.40B	5.4M	72.3
0.80	3.40B	13M	75.6
Original network:	5.70 B	22 M	77 (78.8)

• 疎なランダム接続は、同じパラメータ予算でしばしば密な畳み込みと同等かそれを上回る精度を達成します。特に高圧縮時に顕著です。
• Inception-V3で、疎ネットワークは大幅に少ないパラメータで、広い疎化レベルの範囲で競争力のある精度を維持する（例: 5.70 B MAddsと22 M ParamsでP@1は77%）。
• Inception-V3では、混合構成（例: 0.50/0.01の疎度）で90kパラメータ、43.0 MAdds、P@1は40.3を達成し、より高い疎度（0.003）では158kパラメータ、82.0 MAddsでP@1は46.1を得る。
• ImageNetでInception-V3およびVGG-16nでは、疎パターンによりパラメータを大幅に削減（数千万から数十万程度へ）し、同程度の計算予算で密な対向モデルの精度を維持または上回る。
• 接続を時間とともに追加するインクリメンタルトレーニングは、いくつかの設定で疎ネットワークが完全な密なモデルに追いつくか上回るのを可能にし、初期の計算量が減るため早期トレーニングを加速する。