[論文レビュー] Iterative Low-Rank Approximation for CNN Compression

Maksym Kholiavchenko|arXiv (Cornell University)|Mar 23, 2018

Image and Signal Denoising Methods参考文献 23被引用数 8

ひとこと要約

本稿では、繰り返しのランク弱体化、テンソル分解（HOSVD/SVD）、およびファインチューニングのサイクルを経て段階的にランクを低下させる、畳み込みニューラルネットワーク（CNN）の圧縮のための反復的低ランク近似手法を提案する。単回の手法と比較して、AlexNet、VGG-16、YOLOv2、Tiny YOLOの各モデルで顕著な精度損失の低減と高い圧縮比を達成し、優れた性能を示している。

ABSTRACT

Deep convolutional neural networks contain tens of millions of parameters, making them impossible to work efficiently on embedded devices. We propose iterative approach of applying low-rank approximation to compress deep convolutional neural networks. Since classification and object detection are the most favored tasks for embedded devices, we demonstrate the effectiveness of our approach by compressing AlexNet, VGG-16, YOLOv2 and Tiny YOLO networks. Our results show the superiority of the proposed method compared to non-repetitive ones. We demonstrate higher compression ratio providing less accuracy loss.

研究の動機と目的

• リソース制約のある組み込み型およびモバイルデバイスに大規模でパラメータが多いCNNを導入する課題に対処すること。
• 単回の低ランク近似手法で一般的に見られる精度の低下を、反復的圧縮プロセスの導入によって克服すること。
• フレームワークレベルの変更を必要とせず、任意のディープラーニングフレームワークへのスムーズな統合を可能にすること。
• 反復的分解とファインチューニングによる段階的ノイズ低減を通じて、精度損失を最小限に抑えつつ高い圧縮比を達成すること。
• 変分ベイジアン行列因子分解（VBMF）を用いてランク選択を自動化するとともに、反復的ランク弱体化によって過度な圧縮を回避すること。

提案手法

• VBMFによる自動的極端ランク選択、ランク弱体化、テンソル分解（畳み込み層にはHOSVD、全結合層にはSVD）、およびモデルファインチューニングの4段階からなる反復的低ランク近似を適用する。
• 4次元畳み込みカーネルテンソルをコアテンソルと因子行列にHOSVDを用いて分解し、パラメータ数を削減する。
• 変分ベイジアン行列因子分解（VBMF）を活用して初期ランクの上限を自動的に決定し、圧縮の上限として扱う。
• VBMFで推定されたランクを0.5〜0.7の要因で低下させることでランク弱体化を実装し、一度に過度な圧縮を防ぐ。
• 各イテレーションで分解とファインチューニングを実行する反復的圧縮サイクルを継続し、精度低下が1%未満に収まるまで繰り返す。
• 畳み込み層と全結合層の両方をカバーするため、それぞれにHOSVDとSVDを適用し、バッチ正規化などの圧縮不能層に対してはオプションの前処理を実装する。

実験結果

リサーチクエスチョン

• RQ1 反復的低ランク近似は、単回の分解と比較して、CNN圧縮時の精度損失を低減できるか？
• RQ2 分解の前に段階的にランクを弱体化させることで、モデル性能を損なわず高い圧縮比を達成できるか？
• RQ3 VBMFによるランク推定と反復的ファインチューニングの組み合わせは、多様なCNNアーキテクチャにわたり精度を維持するのにどの程度有効か？
• RQ4 圧縮比と推論速度向上の観点から、反復的手法は非反復的低ランク近似をどの程度上回るか？
• RQ5 本手法は、フレームワークレベルの変更なしに、さまざまなディープラーニングフレームワークに普遍的に適用可能か？

主な発見

• AlexNetでは反復的手法で4.90×の圧縮比を達成し、トップ5精度損失は0.81%にとどまった。一方、1回の圧縮では2.30×の速度向上と4.2%の精度損失にとどまった。
• VGG-16では反復的手法で1.51×の圧縮比と0.15%の精度損失を達成し、1回の圧縮では1.2×の圧縮と2.8%の損失にとどまった。
• YOLOv2では反復的手法で2.13×の圧縮比と0.19%のmAP損失を達成した。一方、1回の圧縮では1.7×の圧縮と3.1%のmAP損失であった。
• Tiny YOLOv2では反復的手法で2.30×の圧縮比と0.10%のmAP損失を達成し、非反復ベースラインの2.11×と2.7%の損失と比較して顕著に優れた性能を示した。
• 反復的手法はCPU上で一貫して高いスピードアップを達成し（AlexNetでは最大×4.76）、異なるCPUおよびGPUプラットフォームでも安定した性能を維持した。
• 各イテレーション後にファインチューニングを実施することで、分解による精度損失を回復させることができ、通常は各イテレーションあたり5〜15エポックで収束した。