[論文レビュー] LARNN: Linear Attention Recurrent Neural Network

Guillaume Chevalier|arXiv (Cornell University)|Aug 16, 2018

Advanced Neural Network Applications参考文献 7被引用数 8

ひとこと要約

LARNNは、LSTMに類似したセルに、固定サイズの過去のセル状態の窓を用いて効率的な注意付きメモリ参照を可能にする、新しい再帰ニューラルネットワークアーキテクチャを提案する。センサーに基づく人間の行動認識タスクにおいて91.924%のテスト精度を達成し、アンサンブルLSTMを0.271%上回り、また注意機構の線形層内でのバッチ正規化を施したELU活性化関数を適用することで性能が向上することを発見した。

ABSTRACT

The Linear Attention Recurrent Neural Network (LARNN) is a recurrent attention module derived from the Long Short-Term Memory (LSTM) cell and ideas from the consciousness Recurrent Neural Network (RNN). Yes, it LARNNs. The LARNN uses attention on its past cell state values for a limited window size $k$. The formulas are also derived from the Batch Normalized LSTM (BN-LSTM) cell and the Transformer Network for its Multi-Head Attention Mechanism. The Multi-Head Attention Mechanism is used inside the cell such that it can query its own $k$ past values with the attention window. This has the effect of augmenting the rank of the tensor with the attention mechanism, such that the cell can perform complex queries to question its previous inner memories, which should augment the long short-term effect of the memory. With a clever trick, the LARNN cell with attention can be easily used inside a loop on the cell state, just like how any other Recurrent Neural Network (RNN) cell can be looped linearly through time series. This is due to the fact that its state, which is looped upon throughout time steps within time series, stores the inner states in a "first in, first out" queue which contains the $k$ most recent states and on which it is easily possible to add static positional encoding when the queue is represented as a tensor. This neural architecture yields better results than the vanilla LSTM cells. It can obtain results of 91.92% for the test accuracy, compared to the previously attained 91.65% using vanilla LSTM cells. Note that this is not to compare to other research, where up to 93.35% is obtained, but costly using 18 LSTM cells rather than with 2 to 3 cells as analyzed here. Finally, an interesting discovery is made, such that adding activation within the multi-head attention mechanism's linear layers can yield better results in the context researched hereto.

研究の動機と目的

• 標準RNNが長距離依存関係を効率的に捉えることの制限を解決すること。
• 計算複雑度を著しく増加させることなく、記憶の再考を向上させるために注意メカニズムを再帰的アーキテクチャに統合すること。
• 過去の隠れ状態に対する注意が、系列モデルタスクの性能向上に寄与するかどうかを検討すること。
• 位置エンコーディングや残差接続といったアーキテクチャ的選択がモデル性能に与える影響を評価すること。
• 注意機構の線形射影における活性化関数が学習に与える影響を調査すること。

提案手法

• LARNNセルは、固定サイズの先入先出しキューとして、k個の最新のセル状態を保持し、メモリアクセスを限定的に保証する。
• k個の過去のセル状態に対してマルチヘッド自己注意を適用し、関連する歴史的情報を動的に重み付けして集約する。
• 現在の入力から得られるクエリと、過去の状態から得られるキーと値を用いてセル内で注意を適用し、ドット積注意とスケーリングドット積計算を実行する。
• マルチヘッド注意機構内の線形射影にバッチ正規化とELU活性化関数を適用し、学習の安定性と性能を向上させる。
• モデルは標準的なRNNループで訓練され、各時刻で注意付きセル状態を用いて隠れ状態を更新する。
• スタックされたLARNN層間には残差接続が適用され、特徴の統合と勾配の流れの改善が可能になる。

実験結果

リサーチクエスチョン

• RQ1 固定サイズの窓内で過去のセル状態に対する局所的注意を統合することで、二次的計算量を増加させることなくRNNの表現能力を向上させることができるか？
• RQ2 マルチヘッド注意機構の線形層内にバッチ正規化を施した活性化関数を適用することで、系列モデルタスクにおける一般化性能が向上するか？
• RQ3 固定窓注意機構をRNN内で使用する場合、位置エンコーディングは性能に与える影響は何か？
• RQ4 RNN内に軽量な注意機構を組み込むことで、標準LSTMを序列分類ベンチマークで上回ることができるか？
• RQ5 窓サイズk、注意ヘッド数、残差スタックの数といったハイパーパrameterの最適な設定は何か、最適な性能を得るためには？

主な発見

• LARNNは、センサーに基づく人間の行動認識データセットで91.924%のテスト精度を達成し、アンサンブルLSTMのベースライン91.653%を上回った。
• マルチヘッド注意機構の線形射影にバッチ正規化を施したELU活性化関数を適用することで、テスト性能が向上した。これは、このアーキテクチャにとって有益なインダクティブバイアスであると考えられる。
• 密度的に位置エンコーディングを適用しても性能向上が見られず、この特定の設定では限られた有用性しか示さなかった。
• LARNNセルを残差接続でスタックすることで、単純な層順スタック構成よりも優れた結果が得られた。
• kを固定した場合、計算量は線形的O(nk²)に保たれ、完全な自己注意機構と比較してスケーラブルな代替手段となりつつ、最近のメモリに対する注意により長距離依存関係を捉えることが可能になった。
• このアーキテクチャは、RNN内に注意メカニズムを効果的に埋め込むことで記憶の再考を向上させられることを示しており、RNNが系列モデルタスクにおいて今後も関連性を保つことを支持する。