[論文レビュー] Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification

Huanrui Yang, Minxue Tang+6 more|arXiv (Cornell University)|Apr 20, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用数 5

ひとこと要約

本稿では、各ステップでの特異値分解（SVD）を実行しないで、トレーニング中に低ランクの深層ニューラルネットワークを明示的に学習するための新規手法、SVDトレーニングを提案する。各レイヤーをフルランクのSVD形式に分解し、特異ベクトルの直交性正則化と特異値のスパarsificationを適用することで、最小限の精度損失で顕著なFLOPs削減を達成し、CIFAR-10およびImageNetベンチマークにおいて、最先端の要因分解およびプルーニング手法を上回る性能を発揮する。

ABSTRACT

Modern deep neural networks (DNNs) often require high memory consumption and large computational loads. In order to deploy DNN algorithms efficiently on edge or mobile devices, a series of DNN compression algorithms have been explored, including factorization methods. Factorization methods approximate the weight matrix of a DNN layer with the multiplication of two or multiple low-rank matrices. However, it is hard to measure the ranks of DNN layers during the training process. Previous works mainly induce low-rank through implicit approximations or via costly singular value decomposition (SVD) process on every training step. The former approach usually induces a high accuracy loss while the latter has a low efficiency. In this work, we propose SVD training, the first method to explicitly achieve low-rank DNNs during training without applying SVD on every step. SVD training first decomposes each layer into the form of its full-rank SVD, then performs training directly on the decomposed weights. We add orthogonality regularization to the singular vectors, which ensure the valid form of SVD and avoid gradient vanishing/exploding. Low-rank is encouraged by applying sparsity-inducing regularizers on the singular values of each layer. Singular value pruning is applied at the end to explicitly reach a low-rank model. We empirically show that SVD training can significantly reduce the rank of DNN layers and achieve higher reduction on computation load under the same accuracy, comparing to not only previous factorization methods but also state-of-the-art filter pruning methods.

研究の動機と目的

• エッジおよびモバイルデバイスへの深層ニューラルネットワーク（DNN）の展開における高いメモリおよび計算コストの課題に対処すること。
• 従来の低ランクDNN圧縮手法の限界、特にランクの暗黙的近似と各トレーニングステップでの高コストなSVDを克服すること。
• 反復的なSVDを実行せずに最適化中にレイヤーのランクを明示的に制御できるトレーニングフレームワークを開発すること。
• 構造的な正則化とプルーニングを通じて、最小限の精度低下で高いモデル圧縮を達成すること。

提案手法

• DNNレイヤーの重み行列をそのフルランクSVD形式に分解する：W = UΣV^T および、U、Σ、V の各成分を直接トレーニングする。
• 左および右の特異ベクトル（U および V）に対して直交性正則化を適用し、ユニタリ構造を維持し、勾配消失／爆発を防ぐ。
• 特異値（Σ）に対してスパース性誘導正則化子（例：Hoyerノルム）を導入し、トレーニング中に低ランク構造を促進する。
• トレーニング後、特異値プルーニングを実施して、FLOPsを低減した明示的な低ランクモデルを達成する。
• 異なるネットワークの深さにおける圧縮効率を評価するため、空間的およびチャネルワイドの分解戦略を用いる。
• 各構成要因（直交性正則化、スパース正則化、プルーニング）の寄与を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 各トレーニングステップでのSVDを実行せずに、低ランクDNNを明示的にトレーニングできるか？
• RQ2 特異ベクトルの直交性正則化は、低ランクDNNにおけるトレーニング安定性とモデル性能にどのように影響するか？
• RQ3 異なるスパース性誘導正則化子（例：Hoyer対L1）は、圧縮率と精度のトレードオフにどのような影響を及えるか？
• RQ4 FLOPs削減と精度の観点から、本稿で提案するSVDトレーニングフレームワークは、スクラッチからのトレーニングや既存の要因分解およびプルーニング手法と比較してどう異なるか？
• RQ5 浅いネットワークでは空間的分解がチャネルワイド分解を上回るのか？また、深層モデルでは両者の性能はどのように比較されるか？

主な発見

• SVDトレーニングは、CIFAR-10におけるResNet-20で3.26倍の高速化、ResNet-110では最大6.42倍の高速化を達成し、精度損失は最小限に抑えられる。
• ResNet-20を用いたCIFAR-10では91.39%のトップ-1精度を達成し、スクラッチからのトレーニング（89.43%）および既存の最先端手法を上回る。
• ImageNetにおけるResNet-18およびResNet-50において、本手法は既存の要因分解および構造的プルーニング手法のパレートフロンティアを上回る精度を維持する。
• Hoyer正則化子は、L1正則化と比較して、同じ精度損失の下でより高い圧縮率を実現でき、特に特異値のスパース性誘導に有効である。
• 特異ベクトルに対する直交性正則化は不可欠である。アブレーションでは、これを省略した場合に顕著な性能低下が確認され、トレーニングの安定化におけるその役割が裏付けられる。
• 浅いネットワーク（例：ResNet-20、ResNet-32）では、空間的分解がチャネルワイド分解よりも高い圧縮効率を示すが、深層モデルでは両者の性能は同等である。