[論文レビュー] Trained Rank Pruning for Efficient Deep Neural Networks

Yuhui Xu, Yuxi Li+8 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Neural Network Applications参考文献 41被引用数 14

ひとこと要約

本稿では、深層ニューラルネットワークの学習プロセスに低ランク近似とノルム正則化を統合する、Trained Rank Pruning (TRP) を提案する。この手法により、最小限の性能低下で自然に低ランク構造をとるモデルを実現できる。TRP は、低ランク近似と確率的部分勾配学習を交互に実行することで、圧縮後のファインチューニングの必要性を排除し、CIFAR-10 および ImageNet で最先端の結果を達成する。

ABSTRACT

To accelerate DNNs inference, low-rank approximation has been widely adopted because of its solid theoretical rationale and efficient implementations. Several previous works attempted to directly approximate a pre-trained model by low-rank decomposition; however, small approximation errors in parameters can ripple over a large prediction loss. Apparently, it is not optimal to separate low-rank approximation from training. Unlike previous works, this paper integrates low rank approximation and regularization into the training process. We propose Trained Rank Pruning (TRP), which alternates between low rank approximation and training. TRP maintains the capacity of the original network while imposing low-rank constraints during training. A nuclear regularization optimized by stochastic sub-gradient descent is utilized to further promote low rank in TRP. Networks trained with TRP has a low-rank structure in nature, and is approximated with negligible performance loss, thus eliminating fine-tuning after low rank approximation. The proposed method is comprehensively evaluated on CIFAR-10 and ImageNet, outperforming previous compression counterparts using low rank approximation. Our code is available at: https://github.com/yuhuixu1993/Trained-Rank-Pruning.

研究の動機と目的

• 事前学習モデルの後処理における低ランク分解の近似誤差によって引き起こされる性能低下を解消すること。
• 低ランク制約を学習プロセスに直接埋め込むことで、圧縮後のファインチューニングの必要性を排除すること。
• 重み行列とノルム正則化の共同最適化を通じて、元のネットワークの容量を維持しつつ低ランク構造を促進すること。
• 構造的なパラメータ削減により、モデル精度を損なわず効率的な推論を実現すること。

提案手法

• TRP は、学習中に重み行列の低ランク近似と確率的勾配降下法の更新を交互に実行する。
• 核ノルム正則化項を確率的部分勾配降下法により最適化することで、低ランク解を促進する。
• 低ランク制約を学習ループに直接統合することで、ネットワークが初期段階から低ランク構造を学習するように保証する。
• 重み行列は学習中に低ランク要因に分解され、ランクは正則化強度によって制御される。
• モデル容量を維持し、初期段階から近似誤差を最小限に抑えることで、圧縮後のファインチューニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 低ランク近似を学習プロセスに効果的に統合することで、後処理による分解と比較して性能損失を低減できるか？
• RQ2 学習中に低ランク構造とモデル精度を共同で最適化することで、圧縮後のファインチューニングの必要性が排除できるか？
• RQ3 標準ベンチマークにおいて、既存の低ランク圧縮手法と比較して、TRP は精度とパラメータ効率の点でどのように優れているか？
• RQ4 核ノルム正則化は、学習中に深層ネットワークの重みに低ランク構造をどの程度促進するか？

主な発見

• TRP は、フルプレシジョンモデルと比較してわずかな精度損失で、CIFAR-10 および ImageNet で最先端の圧縮性能を達成する。
• 低ランク近似後のファインチューニングの必要性が排除され、推論デプロイメントの複雑さが軽減される。
• 学習中に低ランク制約を統合することで、TRP は高いモデル容量を維持し、近似誤差の伝搬を低減する。
• 確率的部分勾配降下法による核正則化は、学習済み重みにおける低ランク構造を効果的に促進する。