[論文レビュー] Scalable Deep Neural Networks via Low-Rank Matrix Factorization

Atsushi Yaguchi, Taiji Suzuki+3 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Neural Network Applications参考文献 21被引用数 6

ひとこと要約

本論文では、低ランク行列分解を用いたスケーラブルな深層ニューラルネットワークの構築手法であるDecomposable-Netを提案する。この手法により、再訓練を伴わずに柔軟なモデルサイズの調整が可能となる。フルランクと低ランクのネットワークを同時に最適化し、近似誤差解析に基づくランク選択基準を用いることで、さまざまな圧縮レベルにおいて最先端の精度を達成する。特に、ResNet-50を用いてImageNetで0.27× MACsの計算量で73.2%のトップ1精度を達成した。

ABSTRACT

Compressing deep neural networks (DNNs) is important for real-world applications operating on resource-constrained devices. However, it is not straightforward to change the model size (i.e., computational complexity) once training and compression are completed, calling for retraining to construct models suitable for different devices. In this paper, we propose a novel method, Decomposable-Net (the network decomposable in any size), which allows flexible changes to model size without retraining. We decompose weight matrices in the DNNs via singular value decomposition and adjust ranks according to the target model size. Unlike the existing methods, (1) we propose a learning method that explicitly minimizes losses for both of full-rank and low-rank networks, which is designed not only to maintain the performance of a full-rank network but also to improve multiple low-rank networks in a single model. (2) We also provide a mathematical analysis for the scalability of the approximation error with respect to the rank in each layer. Moreover, on the basis of the analysis, (3) we introduce a simple criterion for rank selection that effectively suppresses approximation error. In experiments on image-classification tasks on CIFAR-10/100 and ImageNet datasets, Decomposable-Net yields favorable performance in a broader range of compressed models. In particular, Decomposable-Net achieves the top-1 accuracy of $73.2\%$ with $0.27 imes$MACs on the ImageNet classification task with ResNet-50, compared to low-rank tensor (Tucker) decomposition ($67.4\% / 0.30 imes$) and universally slimmable networks ($70.6\% / 0.26 imes$).

研究の動機と目的

• 異なる計算リソース制約を持つデバイスに圧縮された深層ニューラルネットワークを効果的にデプロイする課題に対処する。
• 各ターゲットモデルサイズごとに再訓練を必要とする従来の圧縮手法の制限を克服する。
• ランク調整により、動的に複数の推論サイズをサポートできる1つの訓練済みモデルを実現する。
• フルランクと低ランクのネットワークの目的関数を同時に最適化することで、広範な圧縮レベルにおいて高い性能を維持する。
• 近似誤差を最小化するための原理的で数学的に裏付けられたランク選択基準を提供する。

提案手法

• 深層ニューラルネットワークの重み行列を特異値分解（SVD）を用いて分解し、低ランク近似を可能にする。
• フルランクと複数の低ランクバージョンを同時に最適化するための共同損失関数を用いて、1つのモデルを訓練する。
• フルランクと低ランクネットワークの両方の損失を最小化する新しい学習目的を導入し、性能の維持と向上を保証する。
• 各層におけるランクに関する近似誤差のスケーリングに関する理論的分析を導出し、原理的なランク選択を可能にする。
• 表現力と圧縮のバランスを取ることで近似誤差を抑制する、シンプルなデータ駆動型ランク選択基準を提案する。
• 標準的な画像分類ベンチマーク（CIFAR-10/100およびImageNetにおけるResNet-50含む）に対して、エンドツーエンドで本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 低ランク因子分解を用いて、再訓練を伴わず複数のモデルサイズをサポートできる1つの深層ニューラルネットワークを訓練できるか？
• RQ2 フルランクと低ランクネットワークを同時に最適化することで、さまざまな圧縮レベルにおける性能にどのような影響を与えるか？
• RQ3 分解されたDNNの各層における近似誤差とランクの理論的関係は何か？
• RQ4 近似誤差を最小化しつつ高い精度を維持するための原理的なランク選択基準を導出できるか？
• RQ5 Tucker分解やユニバーサルスリミングネットワークといった既存の圧縮技術と比較して、本手法は精度と効率の面でどのように優れているか？

主な発見

• Decomposable-Netは、ResNet-50を用いて0.27× MACsの計算量でImageNetで73.2%のトップ1精度を達成し、低ランクTucker分解（0.30× MACsで67.4%）を上回った。
• 0.27× MACs（vs. 0.26×）のわずかに少ない計算量で、73.2%（vs. 70.6%）の高い精度を達成し、ユニバーサルスリミングネットワークを上回った。
• 広範な圧縮レベルにわたり高い性能を維持しており、優れたスケーラビリティを示した。
• 理論的分析により、ランクが増加するにつれて近似誤差が予測可能に減少することが確認され、ランク選択基準の妥当性が裏付けられた。
• 共同訓練目的関数により、フルランク性能を維持するとともに低ランクバージョンの性能を向上させ、再訓練の必要がなくなった。
• 提案されたランク選択基準は近似誤差を効果的に抑制し、ハイパーパramータのチューニングなしに正確な低ランク推論を可能にした。