[論文レビュー] Overcoming the vanishing gradient problem in plain recurrent networks

Yuhuang Hu, Adrian E. G. Huber+2 more|arXiv (Cornell University)|Jan 18, 2018

Topic Modeling参考文献 26被引用数 83

ひとこと要約

本論文は Recurrent Identity Networks (RINs) を導入する。ゲートなしのプレーン RNN バリアントで、非訓練可能な identity 擬似記憶を持ち、勾配の消失を緩和し、訓練を高速化する。長いシーケンスタスクで IRNNs および LSTMs に対して競争力のある結果を得る。

ABSTRACT

Plain recurrent networks greatly suffer from the vanishing gradient problem while Gated Neural Networks (GNNs) such as Long-short Term Memory (LSTM) and Gated Recurrent Unit (GRU) deliver promising results in many sequence learning tasks through sophisticated network designs. This paper shows how we can address this problem in a plain recurrent network by analyzing the gating mechanisms in GNNs. We propose a novel network called the Recurrent Identity Network (RIN) which allows a plain recurrent network to overcome the vanishing gradient problem while training very deep models without the use of gates. We compare this model with IRNNs and LSTMs on multiple sequence modeling benchmarks. The RINs demonstrate competitive performance and converge faster in all tasks. Notably, small RIN models produce 12%--67% higher accuracy on the Sequential and Permuted MNIST datasets and reach state-of-the-art performance on the bAbI question answering dataset.

研究の動機と目的

• プレーン再発性ネットワークにおける勾配消失の研究動機とゲート付きアーキテクチャ（LSTM/GRU）の限界を説明する。
• プレーン RNN が異なる記憶メカニズムを活用することで勾配消失を克服できるかを探る。
• ゲートなしモデルで代理メモリを持つ Recurrent Identity Network (RIN) を提案・形式化する。
• 長距離シーケンスタスク（加算問題、MNIST の variantes、bAbI）に対して RIN を IRNN および LSTM と比較評価し、収束と性能を評価する。

提案手法

• RNN の情報フローと identity マッピングを分析するための Iterative Estimation の解釈を採用する。
• GNN におけるデュアルゲート設計を分析し、キャリーゲートがゲートなしでエミュレートできる identity に近い挙動を可能にすることを示す。
• 更新式を h_t = ReLU(Wx_t + Uh_{t-1} + h_{t-1} + b) = ReLU(Wx_t + (U + I)h_{t-1} + b) として RIN を提案する。
• 過去の表現をステップ間で保持する代理メモリとして訓練不能な単位行列を導入する。
• RIN が Differential State Framework (DSF) との関連を含み、ReLU 活性化と共に安定した勾配伝播をサポートする点を論じる。

実験結果

リサーチクエスチョン

• RQ1 ゲート機構を持たないプレーンな再帰的ネットワークは ReLU で訓練して勾配消失を緩和できるか。
• RQ2 訓練不能な identity 成分を組み込むことで過去の表現を保持し、長距離依存性のモデリングを可能にするか。
• RQ3 RIN は長いシーケンスタスク（加算問題、Sequential/Permuted MNIST、bAbI タスク）において IRNN および LSTM と比べてどう機能するか。

主な発見

• RIN は初期の訓練段階で IRNN および LSTM よりも収束が速い。
• 小さな RIN は Sequential および Permuted MNIST のいくつかの構成で IRNN および LSTM より 12%–67% 高い精度を達成。
• RIN は報告された設定で bAbI 質問応答データセットで最先端の性能に到達。
• 報告された実験では MNIST タスクで LSTM は一般に RIN および IRNN よりも劣る。
• ゲートベースのモデルと競合する性能を、ゲートなし設計と単純な代理メモリで達成している。