[論文レビュー] DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation

Victor D. Dorobantu, Per Andre Stromhaug+1 more|arXiv (Cornell University)|Dec 13, 2016

Speech Recognition and Synthesis参考文献 7被引用数 22

ひとこと要約

DizzyRNN は、Givens 回転を用いて再パrameter化された再帰的ニューラルネットワークであり、直交行列を強制し、絶対値関数を非線形関数として使用することで、勾配ノルムを保存するバックプロパゲーションを実現する。この手法により、消失・爆発勾配問題が解消され、標準 RNN やアイデンティティ初期化 RNN、LSTM よりも優れた性能を示し、パrameter数が少なく、計算複雑性に増加がないにもかかわらず、コピータスクで優れた性能を発揮する。

ABSTRACT

The vanishing and exploding gradient problems are well-studied obstacles that make it difficult for recurrent neural networks to learn long-term time dependencies. We propose a reparameterization of standard recurrent neural networks to update linear transformations in a provably norm-preserving way through Givens rotations. Additionally, we use the absolute value function as an element-wise non-linearity to preserve the norm of backpropagated signals over the entire network. We show that this reparameterization reduces the number of parameters and maintains the same algorithmic complexity as a standard recurrent neural network, while outperforming standard recurrent neural networks with orthogonal initializations and Long Short-Term Memory networks on the copy problem.

研究の動機と目的

• 長期間の依存関係を学習するのを妨げる再帰的ニューラルネットワークにおける消失・爆発勾配問題に対処すること。
• アルゴリズム的複雑性を増加させずに、バックプロパゲーション中に勾配ノルムを維持する RNN の再パrameter化を開発すること。
• 直交行列を強制し、ノルム保存非線形関数を用いることで、長期間のシーケンスタスクにおける一般化性能と学習安定性を向上させること。
• モデル表現力の維持を保ちながら、勾配安定性が保証された効率的な RNN の学習を可能にすること。

提案手法

• Givens 回転を用いて標準 RNN を再パrameter化し、重み行列の直交性を維持する更新法を実装することで、勾配ノルムを保存する。
• 要素ごとの非線形関数として絶対値関数を用い、逆伝播信号のノルムが維持されることを保証する。
• 直交行列を、各々が1つの回転角に依存する Givens 回転の積として表現し、効率的かつ微分可能な更新を可能にする。
• 損失関数に特異値正則化項を導入し、特異値が1から逸脱するのを抑制することで、制御された表現力を可能にする。
• 行列-ベクトル乗算を対角スケーリングと回転成分に分解し、チェーンルールと要素ごとの微分を用いて勾配を計算する。
• 標準 RNN と同等の時間的・空間的計算量を維持しながら、直交変換と絶対値非線形関数によるノルム保存バックプロパゲーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 Givens 回転と絶対値非線形関数を用いた RNN の再パrameter化は、消失・爆発勾配問題を解消できるか？
• RQ2 ノルム保存バックプロパゲーションを強制することで、コピー問題のような長期間シーケンスタスクでの性能が向上するか？
• RQ3 この手法は、標準 RNN と同等の計算複雑性を維持しながら、より優れた学習安定性と精度を達成できるか？
• RQ4 DizzyRNN の性能は、標準 RNN、アイデンティティ初期化 RNN、LSTM と比べてどのように異なるか？

主な発見

• DizzyRNN は 100 エポック未満でコピー問題においてほぼ完璧な精度を達成し、標準 RNN、アイデンティティ初期化 RNN、LSTM より顕著に優れた性能を示した。
• 隠れ状態サイズが 128 で、10 個のパックド Givens 回転を用いた場合、DizzyRNN はテスト精度がほぼ 100% に達したが、他のモデルは 20% 未満に留まるか、ランダムベースラインを上回らなかった。
• DizzyRNN は 90 時間ステップにわたり勾配ノルムの安定性を維持し、バックプロパゲーション中に信号の減衰や爆発を防いだ。
• 標準 RNN よりもパrameter数を削減したが、同じアルゴリズム的複雑性を維持した。
• 特異値正則化により、直交性からの逸脱を制御可能であり、λ=∞ では厳密な直交性が保証され、λ=0 では特異値が無制限に拡大可能である。
• 絶対値非線形関数の使用により、逆伝播勾配のノルムが保存され、安定した学習ダイナミクスに寄与した。