[論文レビュー] Efficient Sparse-Winograd Convolutional Neural Networks

Xingyu Liu, Jeff Pool+2 more|arXiv (Cornell University)|Feb 18, 2018

Advanced Neural Network Applications参考文献 16被引用数 47

ひとこと要約

本論文は Winograd-ReLU CNN を提案し、Winograd ドメインで重みを訓練・プルーニングし、ReLU を Winograd ドメインへ移動させて疎性と計算を整合させ、CIFAR-10、CIFAR-100、ImageNet において最大で約10倍の乗算を削減し、精度の低下をほぼ最小限に抑える。

ABSTRACT

Convolutional Neural Networks (CNNs) are computationally intensive, which limits their application on mobile devices. Their energy is dominated by the number of multiplies needed to perform the convolutions. Winograd's minimal filtering algorithm (Lavin, 2015) and network pruning (Han et al., 2015) can reduce the operation count, but these two methods cannot be directly combined $-$ applying the Winograd transform fills in the sparsity in both the weights and the activations. We propose two modifications to Winograd-based CNNs to enable these methods to exploit sparsity. First, we move the ReLU operation into the Winograd domain to increase the sparsity of the transformed activations. Second, we prune the weights in the Winograd domain to exploit static weight sparsity. For models on CIFAR-10, CIFAR-100 and ImageNet datasets, our method reduces the number of multiplications by $10.4\times$, $6.8\times$ and $10.8\times$ respectively with loss of accuracy less than $0.1\%$, outperforming previous baselines by $2.0\times$-$3.0\times$. We also show that moving ReLU to the Winograd domain allows more aggressive pruning.

研究の動機と目的

• Winograd 畳み込みと疎性を組み合わせて、モバイル展開のための CNN 計算量削減を動機づける。
• Winograd 変換を用いる際に、重みと活性化の両方の疎性の活用を可能にする。
• 変換ドメインのプルーニングと訓練手順を備えた Winograd-ReLU アーキテクチャを提案する。
• CIFAR-10、CIFAR-100、ImageNet において、精度への影響を最小限に抑えつつ顕著な乗算削減を実証する。

提案手法

• Winograd の最小フィルタリングを、4x4 に変換されたカーネル (p=4) で用い、乗算を削減する。
• ReLU を空間ドメインから Winograd ドメインへ移動させ、乗算時の活性化の疎性を高める。
• 変換後の Winograd ドメイン重みを、変換後にプルーニングして静的な重みの疎性を利用する。
• Winograd ドメインで密に訓練し、固定閾値で変換後のカーネルをプルーニングして目標密度を達成し、疎性マスクを用いて再訓練する。
• 変換ドメインでの Winograd 重み勾配と入力活性化のバックプロパゲーション更新を提供する（式 5）。

実験結果

リサーチクエスチョン

• RQ1 ReLU を Winograd ドメインへ移動させることで、Winograd 畳み込み使用時に疎性を効果的に活用できるか？
• RQ2 標準ベンチマーク全体で大きな乗算削減を実現しつつ、Winograd ドメインでのプルーニングは精度を維持できるか？
• RQ3 CIFAR-10、CIFAR-100、ImageNet で、Winograd と疎な活性化および重みを組み合わせたときの計算量の比較的利得はどれくらいか？

主な発見

• CIFAR-10 では、Winograd-ReLU モデルは基準と比較して最大で 10.4x の乗算削減を達成し、精度損失は <0.1% 未満。
• CIFAR-100 では、Winograd-ReLU モデルは最大で 10.8x の乗算削減を達成し、精度損失は <0.1% 未満。
• ImageNet では、Winograd-ReLU モデルは最大で 10.8x の乗算削減を達成し、精度損失は <0.1% 未満。
• データセット全体で、Winograd-ReLU アプローチは従来の Winograd や空間プルーニングのベースラインを、ワークロード削減で一貫して 2.0x–3.0x 上回る。