[論文レビュー] CNN Acceleration by Low-rank Approximation with Quantized Factors

Nikolay Kozyrskiy, Anh Huy Phan|arXiv (Cornell University)|Jun 16, 2020

Tensor decomposition and applications参考文献 51被引用数 5

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）の圧縮手法を提案し、Tuckerテンソル分解と重み・活性化の量子化を組み合わせることで、モバイルおよび組み込みデバイスにおける推論を高速化する。グリーディなランク選択と品質回復技術を用いることで、精度の低下を最小限に抑えながら高い圧縮比を達成し、CIFAR-10、CIFAR-100、ImageNetベンチマークにおいてResNet18およびResNet34で既存手法を上回る性能を発揮する。

ABSTRACT

The modern convolutional neural networks although achieve great results in solving complex computer vision tasks still cannot be effectively used in mobile and embedded devices due to the strict requirements for computational complexity, memory and power consumption. The CNNs have to be compressed and accelerated before deployment. In order to solve this problem the novel approach combining two known methods, low-rank tensor approximation in Tucker format and quantization of weights and feature maps (activations), is proposed. The greedy one-step and multi-step algorithms for the task of multilinear rank selection are proposed. The approach for quality restoration after applying Tucker decomposition and quantization is developed. The efficiency of our method is demonstrated for ResNet18 and ResNet34 on CIFAR-10, CIFAR-100 and Imagenet classification tasks. As a result of comparative analysis performed for other methods for compression and acceleration our approach showed its promising features.

研究の動機と目的

• モバイルおよび組み込みデバイスにおける厳密な電力、メモリ、遅延制約のもとで、大規模で計算コストの高いCNNの展開を課題として解決すること。
• 低ランク近似と量子化を効果的に統合することで、既存の圧縮手法の限界を克服すること。
• 多様な展開環境に適応可能な、モデル圧縮比と精度低下の間の柔軟かつ制御可能なトレードオフを構築すること。
• タスク固有の再トレーニングや複雑なハイパーパramータチューニングを必要とせず、エンドツーエンドのファインチューニングによる効率的な展開を可能にすること。
• ResNet18およびResNet34アーキテクチャを用いて、CIFAR-10、CIFAR-100、ImageNetといった標準ベンチマークで本手法の有効性を実証すること。

提案手法

• 4次元畳み込み重みテンソルにTucker分解を適用し、低ランク近似によってパラメータ数を削減する。
• 圧縮と精度のバランスを最適化するため、Tucker形式における最適な多次元ランクを特定するためのグリーディな1ステップおよび複数ステップのアルゴリズムを用いる。
• 固定小数点表現を用いて、重みおよび特徴マップ（活性化）を4〜8ビットに量子化し、メモリおよび計算コストを削減する。
• 分解および量子化後に、訓練の安定化と精度回復の向上を図るための品質回復技術を導入する。
• 圧縮および量子化されたモデルのエンドツーエンドのファインチューニングを実施し、圧縮後の精度低下を最小限に抑える。
• 調整可能なランクおよびビット幅パラメータを用いて、圧縮比と精度低下の間のトレードオフを制御する。

実験結果

リサーチクエスチョン

• RQ1 Tucker分解と重み・活性化の量子化を組み合わせることで、顕著なCNN圧縮と最小限の精度損失を達成できるか？
• RQ2 提案されたグリーディなランク選択アルゴリズムは、畳み込み層における最適な低ランク近似を特定するのにどの程度効果的か？
• RQ3 分解および量子化後に、品質回復技術が収束性および精度回復性をどの程度向上させるか？
• RQ4 標準ベンチマークにおいて、圧縮比と精度の観点から、最先端の圧縮技術と比較して本手法はどの程度優れているか？
• RQ5 本手法は、異なるモデルおよびデータセットに柔軟に適用可能であり、圧縮と性能の間の制御可能なトレードオフを実現できるか？

主な発見

• 提案手法は、既存手法と比較して優れた圧縮および高速化性能を発揮し、特に8ビット量子化と組み合わせた場合に顕著である。
• ImageNetにおいて、空間的SVDベースの手法を除けば、本手法は他のすべての手法を上回るが、さらに量子化による効率性向上という追加的利益を有する。
• 本手法は、圧縮比と精度低下の間の制御可能なトレードオフを実現でき、異なるハードウェア制約を持つデバイスへの展開を可能にする。
• エンドツーエンドのファインチューニングは収束性および精度回復性を顕著に向上させ、非ファインチューニングまたは不適切な初期化による圧縮戦略を上回る。
• Tucker分解と量子化の組み合わせにより、FLOPsおよびモデルサイズが顕著に削減され、モバイルおよびリアルタイム応用に適したモデル実現が可能になる。
• 本手法は汎用的であり、ディープラーニングフレームワークにプラグインモジュールとして統合可能で、即座のモデル圧縮が可能である。