[論文レビュー] Learning Structured Sparsity in Deep Neural Networks

Wei Wen, Chunpeng Wu+3 more|arXiv (Cornell University)|Aug 12, 2016

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 468

ひとこと要約

本論文は Structured Sparsity Learning (SSL) を紹介する。これはグループLassoベースの正則化法で、DNNにおいてコンパクトでハードウェアに適した構造（フィルター、チャネル、形状、深さ）を学習し、精度を維持または向上させつつ実用的な大幅な速度向上を達成する。

ABSTRACT

High demand for computation resources severely hinders deployment of large-scale Deep Neural Networks (DNN) in resource constrained devices. In this work, we propose a Structured Sparsity Learning (SSL) method to regularize the structures (i.e., filters, channels, filter shapes, and layer depth) of DNNs. SSL can: (1) learn a compact structure from a bigger DNN to reduce computation cost; (2) obtain a hardware-friendly structured sparsity of DNN to efficiently accelerate the DNNs evaluation. Experimental results show that SSL achieves on average 5.1x and 3.1x speedups of convolutional layer computation of AlexNet against CPU and GPU, respectively, with off-the-shelf libraries. These speedups are about twice speedups of non-structured sparsity; (3) regularize the DNN structure to improve classification accuracy. The results show that for CIFAR-10, regularization on layer depth can reduce 20 layers of a Deep Residual Network (ResNet) to 18 layers while improve the accuracy from 91.25% to 92.60%, which is still slightly higher than that of original ResNet with 32 layers. For AlexNet, structure regularization by SSL also reduces the error by around ~1%. Open source code is in https://github.com/wenwei202/caffe/tree/scnn

研究の動機と目的

• より大規模モデルからコンパクトなDNN構造を学習することにより計算コストを削減する。
• ハードウェアに優しい構造的スパース性を生み出し、DNNの効率的な加速を実現する。
• 1つのフレームワークで、複数のDNN構造（フィルター、チャネル、形状、深さ）を正則化することを検討する。
• 圧縮された構造を学習させた際に、精度を維持または向上させることを示す。

提案手法

• データ損失と標準的な正則化を組み合わせ、層ごとのグループ化スパース性項をGroup Lassoを用いて含む一般的なSSL目的関数を定式化する。
• フィルター、チャネル、フィルター形状、ネットワーク深さといった異なる構造グループに対してGroup Lassoを適用する。
• GEMMベースの実装に合わせて、2Dフィルター単位のスパース性や形状単位のスパース性といった実用的な変種を導出する。
• 削除された全層で情報の流れを壊さないよう、ショートカット接続を用いた深さ正則化を組み込む。
• MNIST（LeNet、MLP）、CIFAR-10（ConvNet、ResNet）、ImageNet（AlexNet）でオフ-the-shelfライブラリを用いてSSLを評価する。

実験結果

リサーチクエスチョン

• RQ1 標準ベンチマークで精度を犠牲にすることなく、SSLはコンパクトで構造化されたスパースパターンを学習できるか。
• RQ2 異なる構造グループ（フィルター、チャネル、形状、深さ）が実際の計算削減にどのように寄与するか。
• RQ3 SSLを用いた場合、CPUとGPUの市販ライブラリで達成できる実用的な速度向上はどの程度か。
• RQ4 GEMMベースの実装など、既存の加速手法とSSLを統合して速度向上を最大化できるか。

主な発見

• SSLは、オフ-the-shelfライブラリを用いたベースラインと比較して、AlexNetの畳み込み層でCPUで平均5.1×、GPUで3.1×の速度向上を達成する。
• SSLはResNetの深さを20層から14層に削減し、元の20層ResNetよりも誤差が小さい（SSL-14）、18/32層のバリエーションはCIFAR-10で7.40%–7.51%の誤差に達する。
• CIFAR-10では、SSL正則化がいくつかの設定でAlexNetの誤差を約1%削減し、より小さく高速なモデルを可能にする。
• MNISTでは、SSLはベースラインと同等の誤差でコンパクトな構造を学習しつつ、フィルターとチャネルを大幅に削減する（例：LeNetの結果は類似の精度でFLOPを著しく削減）。
• 2Dフィルター単位のスパース性はAlexNetでFLOPを30%–40%削減し、精度低下なし、形状単位スパース性も同様の削減を達成でき、GEMMベースの計算との有効な整合性を示す。