[論文レビュー] RRA: Recurrent Residual Attention for Sequence Learning

Cheng Wang|arXiv (Cornell University)|Sep 12, 2017

Natural Language Processing Techniques参考文献 28被引用数 12

ひとこと要約

本稿では、RNN における複数ステップにわたる残差接続におけるアテンションを導入することで、長距離のシーケンスモデリングを向上させる再帰的残差アテンション（RRA）を提案する。このアプローチにより、誤差の直接的バックプロpagation が可能となり、過去の隠れ状態に対する動的アテンション重みを学習することで、標準LSTM よりも高速な収束、より安定した学習、および優れた性能が達成される。MNIST や IMDB 感情分析といったシーケンスタスクで実証されている。

ABSTRACT

In this paper, we propose a recurrent neural network (RNN) with residual attention (RRA) to learn long-range dependencies from sequential data. We propose to add residual connections across timesteps to RNN, which explicitly enhances the interaction between current state and hidden states that are several timesteps apart. This also allows training errors to be directly back-propagated through residual connections and effectively alleviates gradient vanishing problem. We further reformulate an attention mechanism over residual connections. An attention gate is defined to summarize the individual contribution from multiple previous hidden states in computing the current state. We evaluate RRA on three tasks: the adding problem, pixel-by-pixel MNIST classification and sentiment analysis on the IMDB dataset. Our experiments demonstrate that RRA yields better performance, faster convergence and more stable training compared to a standard LSTM network. Furthermore, RRA shows highly competitive performance to the state-of-the-art methods.

研究の動機と目的

• 長時間にわたる時間ステップ間の長距離依存関係を学習する際のRNNにおける勾配消失問題に対処すること。
• 標準RNN やLSTM が非隣接なシーケンス要素間の意味的関係を明示的に捉えることの制限を克服すること。
• 複数時間ステップにわたる残差接続に新たなアテンション機構を導入し、誤差のバックプロパゲーションと文脈モデリングを改善すること。
• RRA が標準LSTM より優れた性能を示し、最先端の手法と同等の結果を達成することを実証すること。
• 既存の高次再帰やグローバルアテンションを用いる手法の代替として、より柔軟でパラメータ効率の良い選択肢を提供すること。

提案手法

• RNN において、現在の隠れ状態から遠く離れた隠れ状態へと誤差信号を直接バックプロパゲートできるように、時間ステップにわたる残差接続を導入する。
• 残差関数を再定式化し、複数の過去の隠れ状態に対するアテンションを組み込む：$\mathbf{h}_t = \mathcal{M}(\mathbf{x}_t, \mathbf{h}_{t-1}) + \mathcal{F}(\mathbf{h}_{t-2}, \mathbf{h}_{t-3}, \dots, \mathbf{h}_{t-K-1}; \mathbf{W}_a)$、ここで$\mathcal{F}$ は学習されたアテンション重み$\mathbf{W}_a$ を適用する。
• 各過去の隠れ状態が現在の状態に与える寄与度を動的に制御するアテンションゲートを定義し、意味的に関連のある長距離依存関係に焦点を当てる。
• 残差接続に差分可能なアテンション機構を導入し、時間軸に沿った誤差逆伝播（BPTT）によるエンドツーエンド学習を可能にする。
• 標準的なRNNセルを$\mathcal{M}(\mathbf{x}_t, \mathbf{h}_{t-1})$ として維持しつつ、アテンション重みをかけた残差成分を追加する。
• アテンション重みの可視化により、モデルがどのように関連のある過去の時間ステップに注目するかを分析し、文の非隣接語（例：代名詞と先行詞）間の依存関係を捉える様子を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 時間ステップにわたる残差接続は、RNN における勾配の流れを改善し、勾配消失を軽減できるか？
• RQ2 複数の過去の隠れ状態に対するアテンションは、時系列データにおける長距離依存関係のモデリングを向上させられるか？
• RQ3 提案されたRRA 機構は、標準LSTM よりも収束が速く、学習がより安定するか？
• RQ4 事前学習や単語埋め込みを用いないシーケンス学習タスクにおいて、RRA は最先端の手法と比較してどの程度の性能を示すか？
• RQ5 RRA は、代名詞と先行詞の関係など、非隣接な要素間の意味的依存関係をどの程度捉えることができるか？

主な発見

• 追加問題、ピクセル単位のMNIST、IMDB 感情分析の各タスクにおいて、標準LSTM よりもRRA がより高速な収束とより安定した学習を達成した。
• 追加問題では、標準LSTM が苦戦するような、関連する入力間のギャップが大きい場合でも、RRA は長距離依存関係を正しく学習できた。
• ピクセル単位のMNIST では、LSTM よりもRRA がより高いテスト精度を達成し、一般化性能とシーケンスモデリング能力の向上を示した。
• IMDB 感情分析タスクでは、word2vec 埋め込みや事前学習を用いなくても、RRA は最先端の手法と同等の性能を示した。
• アテンション重みの可視化により、RRA が意味的に関連のある過去の時間ステップに高い重要度を割り当てることを学習していることが明らかになった。例えば、文における「her」を予測する際に「girl」に注目している。
• K=5 の場合、順列MNIST ではやや遅いトレーニング速度（1エポックあたり760秒）であったが、早期停止を適用した場合、LSTM よりも早く収束した。これは、より優れたサンプル効率を示している。