[論文レビュー] A Unified Approximation Framework for Deep Neural Networks.

Yuzhe Ma, Ran Chen+5 more|arXiv (Cornell University)|Jul 26, 2018

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本論文は、活性化後の特徴マップ再構成誤差を最小化するためにADMMを用いることで、畳み込みニューラルネットワークを圧縮する統合フレームワークを提案する。この手法は、VGG-16で4倍以上のモデル圧縮と最大2.2倍の推論速度向上を達成し、精度の低下を最小限に抑える。

ABSTRACT

Deep neural networks (DNNs) have achieved significant success in a variety of real world applications. However, tons of parameters in the networks restrict the efficiency of neural networks due to the large model size and the intensive computation. To address this issue, various compression and acceleration techniques have been investigated, among which low-rank filters and sparse filters are heavily studied. In this paper we propose a unified framework to compress the convolutional neural networks by combining these two strategies, while taking the nonlinear activation into consideration. The filer of a layer is approximated by the sum of a sparse component and a low-rank component, both of which are in favor of model compression. Especially, we constrain the sparse component to be structured sparse which facilitates acceleration. The performance of the network is retained by minimizing the reconstruction error of the feature maps after activation of each layer, using the alternating direction method of multipliers (ADMM). The experimental results show that our proposed approach can compress VGG-16 and AlexNet by over 4X. In addition, 2.2X and 1.1X speedup are achieved on VGG-16 and AlexNet, respectively, at a cost of less increase on error rate.

研究の動機と目的

• 大きなモデルサイズと高い計算コストによるディープニューラルネットワークの効率性のボトル neck を解決すること。
• 畳み込み層における低ランクと構造的スパース近似戦略を統合し、モデル圧縮を向上させること。
• 活性化された特徴マップの再構成誤差を最小化することで、圧縮中のネットワーク性能を維持すること。
• 構造的スパース性を活用してハードウェアアクセラレーションを支援する効率的な推論を可能にすること。
• 標準アーキテクチャ（VGG-16 や AlexNet など）に適用可能なスケーラブルでエンドツーエンドの圧縮手法を開発すること。

提案手法

• 各層のフィルタをスパース成分と低ランク成分の和として近似することで、二重の圧縮利点を実現する。
• スパース成分は構造的スパースに制限され、効率的な計算とハードウェアアクセラレーションを促進する。
• 特徴マップの活性化後の再構成誤差を最小化するために、交替方向乗数法（ADMM）を用いて近似を最適化する。
• 最適化は層ごとに実行され、圧縮中に非線形活性化の効果を保持する。
• フレームワークは層をまたいで反復的に適用され、標準的なトレーニングおよび推論パイプラインと互換性を持つ。
• 本手法は、現代のアクセラレータ上で効率的な展開に適した重み共有とスパースパターンをサポートする。

実験結果

リサーチクエスチョン

• RQ1 低ランクと構造的スパース近似を組み合わせることで、顕著な精度損失なしにモデル圧縮を向上させられるか？
• RQ2 ADMMはDNN圧縮中に活性化された特徴マップの再構成誤差をどの程度効果的に最小化できるか？
• RQ3 提案されたフレームワークは、VGG-16 や AlexNet において、どの程度モデルサイズを削減し、推論を高速化できるか？
• RQ4 構造的スパース性は、非構造的スパース性よりも圧縮ネットワークにおける加速効果を高められるか？
• RQ5 提案された統合フレームワークにおいて、圧縮比、速度向上、精度の間にはどのようなトレードオフが存在するか？

主な発見

• 提案手法は、VGG-16とAlexNetの両方でモデルサイズを4倍以上圧縮した。
• VGG-16では誤差率の上昇を最小限に抑えながら2.2倍の速度向上を達成した。
• AlexNetでは1.1倍の速度向上が達成され、異なるアーキテクチャへのスケーラビリティを示した。
• 構造的スパース性の活用により、高い圧縮効率を維持しながら効果的な加速が実現された。
• ADMMを用いることで、活性化後の特徴マップの再構成誤差が効果的に最小化され、ネットワーク性能が保持された。
• 極めて強い圧縮を行っても競争力のある精度を維持したため、実用的かつ高い実現可能性を示した。