[論文レビュー] Quantifying the vanishing gradient and long distance dependency problem in recursive neural networks and recursive LSTMs

Phong Ba Le, Willem Zuidema|arXiv (Cornell University)|Mar 1, 2016

Topic Modeling参考文献 10被引用数 13

ひとこと要約

この論文は、再帰的ニューラルネットワーク（RNN）と再帰的LSTM（RLSTM）における勾配消失および長距離依存性の問題を、制御された人工タスクを用いて調査している。構文木の深さが異なる位置にラベル付きのキーワードを含む合成文を生成することで、著者たちはRLSTMがRNNよりも長距離依存性を著しく優れて捉えており、誤差信号の伝達も安定していることを示している。勾配比の分析により、深さ13まで安定した誤差逆伝播が可能であることが示された。

ABSTRACT

Recursive neural networks (RNN) and their recently proposed extension recursive long short term memory networks (RLSTM) are models that compute representations for sentences, by recursively combining word embeddings according to an externally provided parse tree. Both models thus, unlike recurrent networks, explicitly make use of the hierarchical structure of a sentence. In this paper, we demonstrate that RNNs nevertheless suffer from the vanishing gradient and long distance dependency problem, and that RLSTMs greatly improve over RNN's on these problems. We present an artificial learning task that allows us to quantify the severity of these problems for both models. We further show that a ratio of gradients (at the root node and a focal leaf node) is highly indicative of the success of backpropagation at optimizing the relevant weights low in the tree. This paper thus provides an explanation for existing, superior results of RLSTMs on tasks such as sentiment analysis, and suggests that the benefits of including hierarchical structure and of including LSTM-style gating are complementary.

研究の動機と目的

• 再帰的LSTM（RLSTM）が、標準的な再帰的ニューラルネットワーク（RNN）よりも勾配消失および長距離依存性の問題をより効果的に克服できるかどうかを調査すること。
• 階層的構造とLSTMゲーティングの影響を分離・定量的に評価し、勾配の流れと依存性の捉え方への影響を明らかにすること。
• さまざまな木の深さとキーワードの位置を想定した、正確なモデル性能測定が可能な制御された人工学習タスクを構築すること。
• 誤差逆伝播におけるノード間の勾配ノルム比（キーワードノードとルートノード間）を用いて、バックプロパゲーションの効果を診断する手法を分析すること。
• 感情分析などのNLPタスクにおけるRLSTMの経験的優位性を、勾配ダイナミクスの体系的分析を通じて説明すること。

提案手法

• 文は整数のシーケンスであり、1つのキーワード（値 < 1000）がラベル（キーワード // 100）を決定する人工タスクを設計。構文木は二分木であり、ランダムに生成されたものとする。
• キーワードのリーフノードとルートノードの間の距離を変化させられるように、制御された深さの二分木構造を用い、長距離依存性の系統的評価を可能にした。
• 50次元の単語ベクトルおよびメモリベクトルを用いたRNNおよびRLSTMモデルを実装。活性化関数にはtanh関数、重み初期化にはXavier初期化を採用。
• 学習率0.05、ミニバッチサイズ20（RNN）および5（RLSTM）のAdaGradを用いて学習を実行。キーワードの深さを増やした10個のデータセットで性能を評価。
• 誤差逆伝播中に、キーワードノードの勾配ノルムとルートノードの勾配ノルムの比を計算し、信号強度を定量化し、勾配消失・爆発の検出に用いた。
• ボックスプロットとライングラフを用いて、訓練エポックおよび増加する木の深さに応じたモデルの正確性と勾配比のトレンドを可視化した。

実験結果

リサーチクエスチョン

• RQ1 木の深さが増すに従って、RLSTMモデルはRNNよりも勾配消失問題をより効果的に軽減するか？
• RQ2 キーワードが木の深くに位置する場合、RLSTMはRNNよりも長距離依存性をより信頼性高く捉えることができるか？
• RQ3 キーワードノードとルートノード間の勾配ノルム比は、階層的モデルにおけるバックプロパゲーションの効果を信頼性高く示す指標となるか？
• RQ4 階層的構造とLSTM型ゲーティングが、長距離情報伝達を要するタスクにおいて、どのように性能向上に寄与するか？
• RQ5 RNNの性能は、長期間にわたって訓練されても、深さが増すにつれて著しく低下するのか？これは、持続的な勾配消失によるものか？

主な発見

• RNNモデルはキーワードが深さ3以内の場合に高い正確性（90％以上）を達成するが、深さ9〜10に達すると急激に低下し、ほぼランダムレベル（約10％）にまで下がり、深刻な長距離依存性の失敗を示している。
• RLSTMは深さ8まで正確性が90％以上を維持し、深さ12および13でもランダムベースライン（10％）を著しく上回っていることから、強固な長距離依存性の捉え方を示している。
• 勾配比分析により、RNNは深さ10〜13で一貫して0.01未満の比を示しており、誤差信号伝達が著しく劣化していることが判明した。
• 一方、RLSTMは深さ13でも0.1以上の安定した勾配比を示し、初期エポックでは勾配爆発を示したが、その後安定化した。これは、誤差信号の効果的伝達を示している。
• RLSTMの勾配比の安定化は、その正確性の向上と同時に進行しており、モデルが時間経過とともにキーワードノードとルートノードの間の結合を強化していることを示唆している。
• キーワードノードとルートノード間の勾配ノルム比は、バックプロパゲーションの成功を示す強力な診断指標である。0.01未満の値は勾配消失、1を超える値は勾配爆発を示している。