[論文レビュー] A Cheap Linear Attention Mechanism with Fast Lookups and Fixed-Size Representations

Alexandre de Brébisson, Pascal Vincent|arXiv (Cornell University)|Sep 19, 2016

Topic Modeling参考文献 4被引用数 6

ひとこと要約

この論文は、従来のアテンションからソフトマックス非線形性を取り除くことで、定数時間のアテンション照会と固定サイズの表現を実現する線形アテンションメカニズムの族を導入する。これにより、長時間系列と高頻度のクエリを伴う大規模な応用が効率的に行える。実験では、このメカニズムはアテンションなしのモデルを著しく上回るが、ソフトマックスアテンションを上回ることはできない。

ABSTRACT

The softmax content-based attention mechanism has proven to be very beneficial in many applications of recurrent neural networks. Nevertheless it suffers from two major computational limitations. First, its computations for an attention lookup scale linearly in the size of the attended sequence. Second, it does not encode the sequence into a fixed-size representation but instead requires to memorize all the hidden states. These two limitations restrict the use of the softmax attention mechanism to relatively small-scale applications with short sequences and few lookups per sequence. In this work we introduce a family of linear attention mechanisms designed to overcome the two limitations listed above. We show that removing the softmax non-linearity from the traditional attention formulation yields constant-time attention lookups and fixed-size representations of the attended sequences. These properties make these linear attention mechanisms particularly suitable for large-scale applications with extreme query loads, real-time requirements and memory constraints. Early experiments on a question answering task show that these linear mechanisms yield significantly better accuracy results than no attention, but obviously worse than their softmax alternative.

研究の動機と目的

• 長時間系列と高頻度のクエリを伴う大規模応用におけるソフトマックスアテンションの計算非効率性を解消すること。
• すべての隠れ状態を保存するメモリのボトルネックを克服し、固定サイズの文書表現を可能にすること。
• リアルタイムシステムやメモリ制限のある環境に適したスケーラブルなアテンションメカニズムを開発すること。
• 線形アテンションが標準RNNと比較して、有用な長距離依存関係を維持し、訓練の安定性を向上させられるかを検討すること。

提案手法

• 標準アテンションにおけるソフトマックス非線形性を線形式に置き換えることで、1回の照会あたりO(k²)の計算量を実現し、系列長nに依存しない。
• 隠れ状態の2次統計を蓄積するk×k行列C(t)を維持することで、固定サイズの系列符号号化を可能にする。
• 行列C(t)を用いてアテンションをHᵀ(C(t)q)として計算し、クエリベクトルqを用いて高速かつ定数時間のアテンション計算を実現する。
• アテンション重みを学習で調整できるゲーテッド変種を導入し、性能を向上させる。
• ADAMを用いてトレーニングを行い、クエリとドキュメントに共通のGRUエンコーダーを採用し、k=100および100次元の単語埋め込みを用いる。
• 最適化された推論を実装し、アテンション照会のみに限定して理論的スピードアップn/k ≈ 7倍を達成する。

実験結果

リサーチクエスチョン

• RQ1 線形アテンションメカニズムは、系列長に依存せずに定数時間のアテンション照会を達成できるか？
• RQ2 固定サイズの表現（k×k行列）は、長時間系列において効果的なアテンションを実現するのに十分な情報を保持できるか？
• RQ3 質問応答タスクにおいて、線形アテンションの性能はノーヒントモデルおよびソフトマックスアテンションと比較してどうなるか？
• RQ4 ゲーティング機構は、線形アテンションの表現能力を向上させ、ソフトマックスアテンションとの精度差を縮小できるか？
• RQ5 標準RNNと比較して、線形メカニズムは訓練の安定性と長距離依存関係の学習を向上させられるか？

主な発見

• 線形アテンションメカニズムは、系列長nに依存せず、1回のアテンション照会あたりO(k²)の計算複雑度を達成し、定数時間の推論を実現する。
• このメカニズムは、O(k²)サイズの固定サイズ表現をサポートし、O(nk)の隠れ状態を保存するのと比較してメモリ使用量を削減する。
• 実験では、線形アテンションがアテンションなしのモデルを著しく上回ることを示し、その有効性を実証している。
• 線形メカニズムのゲーティッド拡張により、さらに精度が向上し、完全なソフトマックスアテンションメカニズムとの差を縮小している。
• k×k行列表現はスイープ接続の一種として機能し、消失勾配問題の緩和と長距離依存関係の学習の改善に寄与している。
• アテンション照会のみに限定して、理論的スピードアップn/k ≈ 7倍が達成可能であるが、現在の実験設定では完全には実証されていない。