[論文レビュー] Kronecker Recurrent Units

Cijo Jose, Moustpaha Cisse+1 more|arXiv (Cornell University)|May 29, 2017

Neural Networks and Applications参考文献 25被引用数 11

ひとこと要約

Kronecker再帰ユニット（KRU）は、勾配消失／爆発を軽減するため、ソフトユニタリ制約を課したKronecker因数分解された再帰的重み行列を用いたパラメータ効率の良いRNNアーキテクチャを提案する。この手法により、再帰的パラメータ数を最大3桁削減しつつ、7つのベンチマークで最先端性能を同等または上回ることを示し、高次元の隠れ状態と低容量の再帰的ダイナミクスを組み合わせても性能の損失がないことを実証した。

ABSTRACT

Our work addresses two important issues with recurrent neural networks: (1) they are over-parameterized, and (2) the recurrence matrix is ill-conditioned. The former increases the sample complexity of learning and the training time. The latter causes the vanishing and exploding gradient problem. We present a flexible recurrent neural network model called Kronecker Recurrent Units (KRU). KRU achieves parameter efficiency in RNNs through a Kronecker factored recurrent matrix. It overcomes the ill-conditioning of the recurrent matrix by enforcing soft unitary constraints on the factors. Thanks to the small dimensionality of the factors, maintaining these constraints is computationally efficient. Our experimental results on seven standard data-sets reveal that KRU can reduce the number of parameters by three orders of magnitude in the recurrent weight matrix compared to the existing recurrent models, without trading the statistical performance. These results in particular show that while there are advantages in having a high dimensional recurrent space, the capacity of the recurrent part of the model can be dramatically reduced.

研究の動機と目的

• RNNにおける再帰的重み行列の過剰パラメータ化と悪条件化を解消し、訓練時間を延長し、勾配消失／爆発を引き起こす要因を軽減すること。
• 厳密なユニタリRNNの制限を克服し、現実世界のデータにおける汎化性能を阻害する要因を排除すること。
• パラメータ効率の良いRNNアーキテクチャを開発し、再帰的パラメータ数を著しく削減しながらも、高い性能を維持すること。
• Kronecker因数分解とソフトユニタリ制約を用いて、モデル容量を細かく制御可能にすること。
• 高次元の隠れ状態と低容量の再帰的ダイナミクスを組み合わせても、性能を損なわずに運用可能であることを実証すること。

提案手法

• 再帰的重み行列をKronecker積の因数分解により、より小さな低次元の要因に分解し、パラメータ効率を実現すること。
• Kronecker因数にソフトユニタリ制約を課して訓練の安定性を高め、勾配の爆発／消失を防ぐこと。
• 完全なユニタリRNNで必要な高価な投影ステップを回避するため、正則化によりユニタリ性を近似的に維持すること。
• Kronecker行列の固有値スペクトル特性を活用し、高速な行列乗算と効率的な勾配計算を可能にすること。
• 微分可能で、ハイパーパramータによってユニタリティの強度を調整可能なソフト制約を導入し、安定性と表現力のバランスを取ること。
• 標準RNNおよびLSTMにこの手法を適用し、系列モデルタスクにおける広範な適用可能性を示すこと。

実験結果

リサーチクエスチョン

• RQ1 Kronecker因数分解により、パラメータ数を1000倍以上削減しても性能に妥協が生じないか？
• RQ2 Kronecker因数にソフトユニタリ制約を課すことで、厳密なユニタリRNNや正則化なしのRNNと比較して、訓練の安定性と汎化性能が向上するか？
• RQ3 低容量の再帰的ダイナミクスでも、高次元の隠れ状態と組み合わせることでSOTA性能を達成可能か？
• RQ4 ソフトユニタリ制約の振幅が、多様な系列モデルタスクにおけるモデル性能にどのように影響するか？
• RQ5 実世界のデータに存在する長期依存性の欠落を伴うデータセットにおいて、KRUアーキテクチャは厳密なユニタリRNNよりも汎化性能に優れるか？

主な発見

• KRUは、標準RNNと比較して再帰的重み行列のパラメータ数を最大3桁削減しながら、統計的性能に妥協なしに実現した。
• JSB Choralesデータセットでは、ソフトユニタリ制約の振幅が1e-2のときに最高の検証性能が達成された。
• Piano-midiデータセットでは最適なソフトユニタリ制約の振幅が1e-1であったため、タスク依存の制約強度への感受性が示された。
• TIMIT音声認識タスクでは、制約振幅が1e-5のときに最も低い誤差率が達成され、それ以上の値では性能が低下した。これは過剰正則化の兆候である。
• ソフトユニタリ制約は勾配クリッピングの原理的代替手段を提供し、明示的な勾配クリッピングなしに収束性と汎化性能を向上させた。
• 実験結果から、高次元の隠れ状態は低容量の再帰的ダイナミクスによっても効果的に駆動可能であり、高性能を達成するには高容量の再帰的ダイナミクスが不可欠であるという仮定に疑問を呈した。