[論文レビュー] Stabilizing Gradients for Deep Neural Networks via Efficient SVD Parameterization

Jiong Zhang, Qi Lei+1 more|arXiv (Cornell University)|Mar 25, 2018

Matrix Theory and Algorithms被引用数 63

ひとこと要約

論文は Spectral-RNN を導入します。SVD に基づく重み行列の効率的なパラメータ化で特異値を明示的に制御し、RNN の勾配を安定化させる（非正方行列への一般化も）、訓練速度と一般化を向上させます。

ABSTRACT

Vanishing and exploding gradients are two of the main obstacles in training deep neural networks, especially in capturing long range dependencies in recurrent neural networks~(RNNs). In this paper, we present an efficient parametrization of the transition matrix of an RNN that allows us to stabilize the gradients that arise in its training. Specifically, we parameterize the transition matrix by its singular value decomposition(SVD), which allows us to explicitly track and control its singular values. We attain efficiency by using tools that are common in numerical linear algebra, namely Householder reflectors for representing the orthogonal matrices that arise in the SVD. By explicitly controlling the singular values, our proposed Spectral-RNN method allows us to easily solve the exploding gradient problem and we observe that it empirically solves the vanishing gradient issue to a large extent. We note that the SVD parameterization can be used for any rectangular weight matrix, hence it can be easily extended to any deep neural network, such as a multi-layer perceptron. Theoretically, we demonstrate that our parameterization does not lose any expressive power, and show how it controls generalization of RNN for the classification task. %, and show how it potentially makes the optimization process easier. Our extensive experimental results also demonstrate that the proposed framework converges faster, and has good generalization, especially in capturing long range dependencies, as shown on the synthetic addition and copy tasks, as well as on MNIST and Penn Tree Bank data sets.

研究の動機と目的

• 深いネットワーク、特に RNN における勾配の消失・爆発を動機づけて対処する。
• 表現力を保ちつつスペクトル制御を可能にする SVD ベースの重みパラメータ化を提案する。
• スペクトル値を制約することで勾配安定性を向上させ、計算量を増やさず Spectral-RNN を開発する。
• MLP や残差ネットワークのための非正方行列 W への SVD パラメータ化を拡張する。
• スペクトル制約の下での理論的一般化洞察を提供し、タスク全体で実証的に検証する。

提案手法

• W をその SVD W = U Σ V^T の形でパラメータ化し、U と V を Householder 反射の積としてコンパクトに表現する。
• 訓練中 W を SVD 形のまま維持して、特異値を明示的に追跡・制約する。
• σ を sigmoid ベースの更新スキームを用いて 1 に近いまま特異値を制約する、特異値のパラメータ化。
• 順伝播と逆伝播を効率的に Householder 反射の積として計算し、層ごとに O(n) あるいはほぼ線形の計算量を維持する。
• 非正方 W の場合は reduced SVD とコンパクトな Householder 表現を用いて W を表現することで MLP へ拡張する。
• Spectral-RNN、非正方の重み行列への適用、及び vanilla RNN と同程度の計算コストと比較して計算コストを検討する。

実験結果

リサーチクエスチョン

• RQ1 勾配の消失/爆発はネットワークの表現力を犠牲にせずに緩和できるか？
• RQ2 SVD パラメータ化による明示的なスペクトル制御は最適化・一般化・長距離依存のモデリング能力を改善するか？
• RQ3 SVD ベースのパラメータ化を非正方の W に効率的に適用できるか、MLP や他のアーキテクチャで？
• RQ4 スペクトル制約と RNN の一般化に関する理論的保証は何か？
• RQ5 Spectral-RNN は人工データと標準データセットで、RNN、oRNN、LSTM と比較して経験的にどうなるか？

主な発見

• Spectral-RNN は勾配安定性が改善され、Vanilla RNN、IRNN、oRNN、LSTM と比較して深さが増すにつれて特に、合成の加算・コピータスクで収束が速くなる。
• Spectral-RNN は pixel-MNIST（隠れ層128で97.7%）で高い精度を示し、permuted-MNIST では競争力があり、いくつかのベースラインを上回る。
• Penn Tree Bank では 1-および 2-層構成の Spectral-RNN が LSTM よりも少ないパラメータで訓練 perplexity を低く、テスト perplexity は同等かそれ以上。
• 理論的結果: 増幅マージン損失の下での RNN の一般化ギャップは遷移行列のスペクトルノルムが成長する因子で境界づけられ、特異値を制約することは一般化を改善する。
• 非正方行列への拡張では、SVD パラメータ化は表現力を維持し、MLP や残差ネットワークへの適用を可能にしつつ、計算コストは類似のまま。
• 経験的な結果は Spectral-RNN がベースラインより長距離依存性のモデリングを良好に保持し、訓練中に堅牢な勾配を示すことを示している。