[論文レビュー] TRP: Trained Rank Pruning for Efficient Deep Neural Networks

Yuhui Xu, Yuxi Li+7 more|arXiv (Cornell University)|Apr 30, 2020

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークの学習プロセスに低ランク近似とノルム正則化を統合することで、効率的で高精度なモデル圧縮を実現する、Trained Rank Pruning (TRP) を提案する。TRP は交互に特異値分解 (TSVD) と確率的部分勾配降下法を用いて、学習中に完全なネットワーク容量を維持し、分解後もほぼゼロの精度損失を達成する。CIFAR-10 および ImageNet において、従来の低ランク圧縮手法を上回り、最大 2.23× の推論速度向上を達成する。

ABSTRACT

To enable DNNs on edge devices like mobile phones, low-rank approximation has been widely adopted because of its solid theoretical rationale and efficient implementations. Several previous works attempted to directly approximate a pretrained model by low-rank decomposition; however, small approximation errors in parameters can ripple over a large prediction loss. As a result, performance usually drops significantly and a sophisticated effort on fine-tuning is required to recover accuracy. Apparently, it is not optimal to separate low-rank approximation from training. Unlike previous works, this paper integrates low rank approximation and regularization into the training process. We propose Trained Rank Pruning (TRP), which alternates between low rank approximation and training. TRP maintains the capacity of the original network while imposing low-rank constraints during training. A nuclear regularization optimized by stochastic sub-gradient descent is utilized to further promote low rank in TRP. The TRP trained network inherently has a low-rank structure, and is approximated with negligible performance loss, thus eliminating the fine-tuning process after low rank decomposition. The proposed method is comprehensively evaluated on CIFAR-10 and ImageNet, outperforming previous compression methods using low rank approximation.

研究の動機と目的

• 圧縮後の DNN で見られる性能劣化を、学習後の低ランク近似によって解消するため。
• 低ランク分解後に膨大な微調整が必要になるのを回避するため、プロセスを学習段階に統合するため。
• 最適化中に低ランク構造を強制しながら、元のネットワークの完全な容量を維持することで、モデルの効率性と精度を向上させるため。
• 深層低ランクネットワークにおける効果的なランク選択と安定した最適化を可能にする学習方式を開発するため。

提案手法

• TRP は、m 回ごとに標準的な誤反転誤差伝播と、切り捨て特異値分解 (TSVD) を交互に適用し、最適化中に元の重みを保持する。
• 重み行列の低ランク構造を促進するために、確率的部分勾配降下法で最適化されたノルム正則化を適用する。
• この手法は、反復的な TSVD と勾配更新を通じて、元のネットワークの完全な容量を維持しながら、重みを段階的に低ランク形式に近づける。
• チャネル単位および空間単位の両方の低ランク分解に対応可能であり、柔軟な圧縮を可能にする。
• ノルム正則化は確率的部分勾配降下法で最適化され、計算コストの増加なしに低ランク促進を強化する。
• 訓練プロセスでは、特異値の減衰に関する理論的境界が維持され、安定した収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 低ランク近似を学習プロセスに効果的に統合することで、圧縮後の微調整で見られる性能劣化を回避できるか？
• RQ2 確率的部分勾配降下法で最適化されたノルム正則化は、低ランクネットワークの学習安定性と精度をどのように向上させるか？
• RQ3 TRP は、標準ベンチマークで高い推論スピードアップを達成しながら、モデル精度をどの程度維持できるか？
• RQ4 TRP は、チャネル単位および空間単位の両方の分解設定において、既存の低ランク圧縮手法を上回るか？

主な発見

• ImageNet において、TRP は 1.80× のスピードアップを達成しながら Top-1 74.06%、Top-5 92.07% の精度を達成し、類似した圧縮率のロウら (2017) および ヒーら (2017) を上回る。
• 2.23× の加速を達成した場合、TRP は Top-5 精度の低下を 1.4% に抑え、同じスピードアップレベルでヒーら (2017) や チョウら (2019) を上回る。
• ResNet-18 において、空間的分解を用いた TRP は CPU 上で推論時間を 0.31ms にまで短縮し、1 イメージあたり 49.88ms にまで低下させ、ベースライン (118.02ms) を上回る。
• ノルム正則化は基本的な手法では性能向上を顕著に示すが、TRP では効果が次第に小さくなることから、TRP はすでに効果的に低ランク構造を誘導していることが示唆される。
• ランク分布解析から、特異値が学習中に安定して減少し、エネルギーが最初の数個の特異値に集中することが判明。最小エネルギー比が閾値 e=0.05 に達した時点で収束する。
• 特異値の減衰に関する理論的境界が、学習全体を通して維持されており、TRP の最適化プロセスの安定性が裏付けられる。