[論文レビュー] Deep Independently Recurrent Neural Network (IndRNN)

Shuai Li, Wanqing Li+2 more|arXiv (Cornell University)|Oct 11, 2019

Neural Networks and Applications参考文献 78被引用数 35

ひとこと要約

IndRNNはHadamard積によって独立に再帰的重みを導入し、非常に深いRNNと長いシーケンスに対するReLUを用いた堅牢な訓練を可能にします。従来のRNN、LSTM、Transformerよりも複数のタスクで優れた性能を示し、著しく高速です。

ABSTRACT

Recurrent neural networks (RNNs) are known to be difficult to train due to the gradient vanishing and exploding problems and thus difficult to learn long-term patterns and construct deep networks. To address these problems, this paper proposes a new type of RNNs with the recurrent connection formulated as Hadamard product, referred to as independently recurrent neural network (IndRNN), where neurons in the same layer are independent of each other and connected across layers. Due to the better behaved gradient backpropagation, IndRNN with regulated recurrent weights effectively addresses the gradient vanishing and exploding problems and thus long-term dependencies can be learned. Moreover, an IndRNN can work with non-saturated activation functions such as ReLU (rectified linear unit) and be still trained robustly. Different deeper IndRNN architectures, including the basic stacked IndRNN, residual IndRNN and densely connected IndRNN, have been investigated, all of which can be much deeper than the existing RNNs. Furthermore, IndRNN reduces the computation at each time step and can be over 10 times faster than the commonly used Long short-term memory (LSTM). Experimental results have shown that the proposed IndRNN is able to process very long sequences and construct very deep networks. Better performance has been achieved on various tasks with IndRNNs compared with the traditional RNN, LSTM and the popular Transformer.

研究の動機と目的

• gradient vanishing and exploding in RNNs to learn long-term dependencies.
• Enable very deep RNN architectures with stable training.
• Allow use of non-saturated activations like ReLU while maintaining training robustness.
• Provide interpretability by making neurons in a layer independent.
• Improve computational efficiency to outperform traditional RNNs and LSTM in speed.

提案手法

• IndRNNを提案。再帰入力は u ⊙ h_{t-1} で、h_t = σ(W x_t + u ⊙ h_{t-1} + b) を満たす。
• IndRNNを畳み込みバリアントおよび深層アーキテクチャ（スタック、残差、密結合）に拡張する。
• IndRNNの時間逆伝播を導出し、勾配が u^T−t と σ′ に依存することを示し、明示的な勾配制御を可能にする。
• 長・短・無記憶ダイナミクスを制御する記憶–再帰重みの関係と初期化範囲を確立する。
• パラメータと計算量の削減を実証し、ReLU、バッチ正規化、ドロップアウトと互換のある更新を実現する。
• CUDA最適化されたPyTorch実装を提供し、複数のタスクでLSTM、SRU、Transformerと比較する。

実験結果

リサーチクエスチョン

• RQ1 IndRNNは勾配を安定させつつ非常に長いシーケンス（例: 数千ステップ）を処理できるか。
• RQ2 ReLUのような非飽和活性化で堅牢に訓練できるか。
• RQ3 残差・密結合設計を備えた深いアーキテクチャとしてIndRNNはどう機能するか。
• RQ4 IndRNNの計算効率とパラメータ効率はLSTM・Transformerと比較してどうか。
• RQ5 基本形、残差形、Dense形の各IndRNNは言語モデリング、シーケンス分類、アクション認識などのタスクでどう比較されるか。

主な発見

• IndRNNは5000ステップを超えるシーケンスを処理でき、21層の残差IndRNNなどの非常に深いアーキテクチャをサポートする。
• 再帰重みu_nを規制することで勾配の爆発/消失を制御し、ReLUで安定した訓練を可能にする。
• 要素ごとの再帰演算により1ステップあたりの計算を削減し、報告された設定でcuDNNのLSTM対して10倍超の速度向上を達成。
• IndRNNのアーキテクチャ系（スタック、残差、密結合）はシーケンスMNIST、言語モデリング、スケルトンベースのアクション認識で性能を向上させる。
• ReLUと適切な規制を備えたIndRNNは従来のRNN、LSTM、Transformerと複数のベンチマークで良好に競合する。
• CUDA最適化されたオープンソース実装が提供され、LSTMベースのモデルと比較して学習が高速になる。