[論文レビュー] Beyond exploding and vanishing gradients: analysing RNN training using attractors and smoothness

Antônio H. Ribeiro, Koen Tiels+2 more|arXiv (Cornell University)|Jun 20, 2019

Model Reduction and Neural Networks参考文献 12被引用数 50

ひとこと要約

この論文は勾配の爆発/消失をコスト関数の滑らかさとアトラクター動力学の観点で再定義し、LSTM、stable LSTM、 orthogonal RNN をタスク間で比較して、訓練ダイナミクスと長期記憶を説明する。

ABSTRACT

The exploding and vanishing gradient problem has been the major conceptual principle behind most architecture and training improvements in recurrent neural networks (RNNs) during the last decade. In this paper, we argue that this principle, while powerful, might need some refinement to explain recent developments. We refine the concept of exploding gradients by reformulating the problem in terms of the cost function smoothness, which gives insight into higher-order derivatives and the existence of regions with many close local minima. We also clarify the distinction between vanishing gradients and the need for the RNN to learn attractors to fully use its expressive power. Through the lens of these refinements, we shed new light on recent developments in the RNN field, namely stable RNN and unitary (or orthogonal) RNNs.

研究の動機と目的

• コスト関数の滑らかさと高階導関数を強調することで爆発的勾配の概念を洗練させる。
• vanishing 勾配と RNN が長期記憶のためにアトラクターを学ぶ必要性との区別を明確にする。
• stable および orthogonal RNN がダイナミクスと勾配挙動をどのように扱うかを調査する。
• 訓練中にアトラクターがどのように現れ、分岐するかを長期記憶を要するタスクで実証する。

提案手法

• RNN を離散時間力学系としてモデリングし、内部状態のエントロピーを分析して情報保持とリプシッツ動力学を関連づける。
• 収縮的な領域と非収縮的な領域を定義し、それらを固定点、アトラクター、記憶と関連づける。
• 訓練中（一定入力下）と推論時のアトラクターを可視化するために分岐図を用いる。
• コスト関数の滑らかさを状態遷移のリプシッツ定数Lfと軌道長さNに結びつける理論的枠組み（定理1）を開発する。
• LSTM、stable LSTM（sLSTM）、および orthogonal RNN（oRNN）を正弦波生成、系列分類、言語モデリングのタスクで比較する。
• 訓練と推論の間でアトラクターと分岐がどのように異なり、学習ダイナミクスに影響を与えるかを検討する。

実験結果

リサーチクエスチョン

• RQ1 コスト関数の滑らかさは、勾配の大きさを超えて RNN の訓練ダイナミクスにどのような影響を与えるのか。
• RQ2 状態遷移のリプシッツ定数Lf と訓練中の一次・二次導関数の爆発との関係はどうなるのか。
• RQ3 収縮的および非収縮的ダイナミクスは情報保持と長期記憶にどのように関連するのか。
• RQ4 安定な RNN と直交 RNN は、長期依存性を要するタスクを解くためにアトラクターをどのように異なって利用するのか。
• RQ5 アトラクターの分岐は正弦波生成、系列分類、言語モデリングといった学習タスクとどのように関連するのか。

主な発見

l	LSTM	sLSTM	oRNN
50	1.00	1.00	1.000
100	1.00	1.00	1.000
200	1.00	0.27	0.999
300	0.25	0.26	0.995
500	0.27	0.26	0.970

• エントロピーベースの分析は情報保持をリプシッツ定数Lf に結びつけ、異なるレジーム（Lf<1、Lf=1、Lf>1）はエントロピーの減衰、一定、増加を示す。
• 定理1はコスト V とその勾配のリプシッツ境界を N および Lf とともに提供し、非収束系における一次・二次導関数の爆発の可能性を示す。
• 長期記憶を要するタスクでは訓練時に混沌的または高度に非線形なアトラクターが出現し、局所的最小値が多数存在する領域でコストの形状に影響を及ぼす。
• stable LSTM は特定のタスクでアトラクターを介して情報を保持できないことが多いのに対し、oRNN は固定点のクラウドを形成し、それを訓練中に適応させて長い系列を解くことができる。
• Orthogonal RNN は分岐を避けるために単位固有値を保つが、周期的アトラクターを学習することもでき、長期記憶の多様な機構を浮き彫りにする。
• 経験的な結果は、LSTM が短い系列タスクで完璧な精度を達成できる一方で長い系列では不安定になるか、効果が低下するのに対し、oRNN は報告されたタスクでより滑らかな収束と長い系列での性能向上を示す。
• WikiText-2 での言語モデリングでは、LSTM が強いパープレキシティ (99.2) を達成する一方、sLSTM は劣化（118.8）、oRNN はさらに悪化（185.3）となり、高次元出力におけるこれらアーキテクチャのトレードオフを反映している。