[論文レビュー] Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints

Yoojin Choi, Mostafa El‐Khamy+1 more|arXiv (Cornell University)|May 21, 2018

Advanced Neural Network Applications参考文献 35被引用数 5

ひとこと要約

本稿では、深層畳み込みニューラルネットワークのためのユニバーサルな圧縮フレームワークを提案する。新しい正則化スキームにより、空間領域およびWinograd領域における同時スパarsityを実現する。フィルタを精度損失なしにいずれの領域でもスパースに最適化することで、AlexNet や CT-SRCNN などのモデルに対して最大 47.7× の圧縮率と 23.5× の計算複雑度低減を達成し、再訓練を必要とせずに多様なハードウェアプラットフォームに単一モデルをデプロイ可能にする。

ABSTRACT

We consider the optimization of deep convolutional neural networks (CNNs) such that they provide good performance while having reduced complexity if deployed on either conventional systems utilizing spatial-domain convolution or lower complexity systems designed for Winograd convolution. Furthermore, we explore the universal quantization and compression of these networks. In particular, the proposed framework produces one compressed model whose convolutional filters can be made sparse either in the spatial domain or in the Winograd domain. Hence, one compressed model can be deployed universally on any platform, without need for re-training on the deployed platform, and the sparsity of its convolutional filters can be exploited for further complexity reduction in either domain. To get a better compression ratio, the sparse model is compressed in the spatial domain which has a less number of parameters. From our experiments, we obtain $24.2 imes$, $47.7 imes$ and $35.4 imes$ compressed models for ResNet-18, AlexNet and CT-SRCNN, while their computational cost is also reduced by $4.5 imes$, $5.1 imes$ and $23.5 imes$, respectively.

研究の動機と目的

• 空間領域およびWinograd領域の両方におけるスパース推論をサポートするユニバーサルなCNN圧縮フレームワークの不足を解消すること。
• 異なる畳み込み計算手法を用いるプラットフォームに圧縮モデルをデプロイする際の再訓練やファインチューニングの必要性を排除すること。
• 空間領域およびWinograd領域の両方でスパarsityとパフォーマンスを維持する単一の圧縮モデルを開発すること。
• モバイル端末などのリソース制限のあるデバイスに、事前学習済みモデルをハードウェアに依存しない形でデプロイ可能にすること。
• モデルの精度を保持しつつ、高い圧縮比と計算複雑度の低減を達成すること。

提案手法

• トレーニング中に両領域でのスパarsityを同時に促進する、共同スパarsity正則化を導入する。
• 変換 $ W_{\text{win}} = G w G^T $ を用いて、フィルタ重みにWinograd領域正則化を適用する。ここで $ G $ はWinograd変換行列である。
• 元のフィルタ空間でのスパarsityを促進するため、空間領域正則化を用いる。
• ユニバーサル量子化とソース符号化を用いて、スパースモデルをさらに圧縮し、両領域でのスパarsityが維持されることを保証する。
• Kronecker積とベクトル化を用いて、共同スパarsity正則化の勾配を導出し、エンドツーエンドのバックプロパゲーションを可能にする。
• 確率的勾配降下法を用いてモデルを最適化し、部分微分を用いた近似により、不連続点に対しても勾配更新が定義可能である。

実験結果

リサーチクエスチョン

• RQ1 精度の低下なしに、1つの圧縮CNNモデルを空間領域およびWinograd領域の両方でスパース化できるか？
• RQ2 異なる推論プラットフォームで、高い圧縮比と低い計算複雑度を維持できるか？
• RQ3 ユニバーサル量子化とソース符号化は、圧縮後に両領域での共同スパarsityを保てるか？
• RQ4 従来の単一領域のプルーニングと比較して、共同スパarsity正則化は圧縮率と精度の面で優れているか？
• RQ5 本フレームワークは、周波数領域畳み込みなどの他のスパース畳み込み手法へも拡張可能か？

主な発見

• ResNet-18 では 24.2× の圧縮比と MAC 操作の 4.5× 減少を達成し、精度損失は 1% 以内に保たれた。
• AlexNet では 47.7× の圧縮比と計算複雑度の 5.1× 減少を達成し、精度損失は最小限に抑えられた。
• 9層の CT-SRCNN モデルは 35.4× 圧縮され、スパースWinograd畳み込みを用いることで MAC 操作が 23.5× 減少した。
• Set14 データセットにおいて、PSNR は事前学習済みモデルと 0.4 dB 以内の差で維持され、SSIM 値は 0.822 以上であった。
• ユニバーサル量子化とソース符号化により、両領域でのスパarsityが維持され、再訓練なしに任意のプラットフォームに1つのモデルをデプロイ可能となった。
• 共同スパarsity正則化により、両領域での有効なプルーニングが可能となり、バックプロパゲーションのためのKronecker積の恒等式を用いて勾配が計算された。