[論文レビュー] Holistic SparseCNN: Forging the Trident of Accuracy, Speed, and Size

Jongsoo Park, Sheng R. Li+4 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Neural Network Applications被引用数 28

ひとこと要約

この論文では、任意のスパarsityパターンを有する効率的なスパース畳み込み演算を可能にすることで、モデルの精度、推論速度、モデルサイズの同時に向上を実現するHolistic SparseCNNを提案する。本手法は、AlexNetにおける密度型畳み込みと比較して、多様なアーキテクチャで3.1–7.3倍の高速化を達成しており、新規のスパース・ドライヴン行列積演算カーネルと、最適なスパarsityレベルを予測する性能モデルを採用している。

ABSTRACT

Phenomenally successful in practical inference problems, convolutional neural networks (CNN) are widely deployed in mobile devices, data centers, and even supercomputers. The number of parameters needed in CNNs, however, are often large and undesirable. Consequently, various methods have been developed to prune a CNN once it is trained. Nevertheless, the resulting CNNs offer limited benefits. While pruning the fully connected layers reduces a CNN's size considerably, it does not improve inference speed noticeably as the compute heavy parts lie in convolutions. Pruning CNNs in a way that increase inference speed often imposes specific sparsity structures, thus limiting the achievable sparsity levels. We present a method to realize simultaneously size economy and speed improvement while pruning CNNs. Paramount to our success is an efficient general sparse-with-dense matrix multiplication implementation that is applicable to convolution of feature maps with kernels of arbitrary sparsity patterns. Complementing this, we developed a performance model that predicts sweet spots of sparsity levels for different layers and on different computer architectures. Together, these two allow us to demonstrate 3.1--7.3$ imes$ convolution speedups over dense convolution in AlexNet, on Intel Atom, Xeon, and Xeon Phi processors, spanning the spectrum from mobile devices to supercomputers. We also open source our project at this https URL.

研究の動機と目的

• モデルサイズを削減しても推論速度が向上しない、既存のCNNプルーニング手法の限界を解消すること。
• 畳み込み層と特徴マップに任意のスパarsityパターンをサポートすることで、畳み込み推論における顕著な高速化を実現すること。
• 異なるレイヤーとハードウェアアーキテクチャに最適なスパarsityレベルを予測する性能モデルを開発すること。
• 実世界のシステムにおいて、モデル圧縮と実際の推論速度向上のギャップを埋めること。
• モバイル、サーバー、スーパーコンピュータプラットフォームにわたり、スパースCNNを効率的に展開できる実用的でオープンソースのソリューションを提供すること。

提案手法

• 畳み込み演算における任意のスパarsityパターンを効率的にサポートする一般化されたスパース対密度行列積演算カーネルの設計。
• ハードウェア特性とレイヤー固有の計算パターンに基づき、各レイヤーの最適スパarsityレベルを予測する性能モデルの統合。
• 精度を維持したまま、構造的および非構造的プルーニングをCNNに適用し、高速推論を実現すること。
• 性能モデルを用いてプルーニング意思決定をガイドすることで、ターゲットハードウェア上で最大の高速化を達成すること。
• Intelプラットフォーム（Atom、Xeon、Xeon Phi）上で本手法を実装し、異機種間でのパフォーマンスを検証すること。
• 実装をオープンソース化することで、再現性と多様なシステムへの実世界展開を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 CNNのカーネルに任意のスパarsityパターンを効率的に活用することで、モデル精度を損なわずに推論を高速化できるか？
• RQ2 異なるレイヤーとハードウェアプラットフォームにおいて、どのスパarsityレベルが最大の高速化をもたらすか？
• RQ3 性能モデルが、速度、サイズ、精度のバランスを最適化するための最適スパarsityレベルを正確に予測できるか？
• RQ4 スパース畳み込み演算は、モバイル、サーバー、スーパーコンピュータシステムにおいてどの程度の高速化を達成できるか？
• RQ5 スパース計算と性能モデリングの組み合わせにより、CNNの包括的最適化がどの程度可能になるか？

主な発見

• Holistic SparseCNNは、Intel Atom、Xeon、Xeon Phiプロセッサ上でAlexNetの密度型畳み込みと比較して3.1–7.3倍の高速化を達成した。
• 本手法は、効率的なスパース畳み込み演算を通じて、モデルサイズ、推論速度、精度の同時に向上を実現した。
• 性能モデルは、異なるレイヤーとハードウェアに対して最適なスパarsityレベルを的確に同定し、最大の高速化を実現した。
• 新規のスパース対密度行列積演算カーネルにより、任意のスパarsityパターンが効率的にサポートされ、高い柔軟性とパフォーマンスが実現された。
• オープンソース実装により、モバイルデバイスからスーパーコンピュータまで広範なシステムへの展開が可能になった。
• 全結合層のプルーニングだけでは高速化は不十分であるが、性能モデルで最適化されたスパース畳み込みにより顕著な性能向上が達成された。