[論文レビュー] Luna: Linear Unified Nested Attention

Xuezhe Ma, Xiang Kong+5 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 48被引用数 49

ひとこと要約

Luna は、2つの入れ子の線形アテンション関数と追加の固定長入力シーケンス P を使用することにより、長いシーケンスを効率的にモデリングしつつ、ベンチマーク全体で競争力のあるパフォーマンスを維持する線形時間のアテンション機構を導入します。

ABSTRACT

The quadratic computational and memory complexities of the Transformer's attention mechanism have limited its scalability for modeling long sequences. In this paper, we propose Luna, a linear unified nested attention mechanism that approximates softmax attention with two nested linear attention functions, yielding only linear (as opposed to quadratic) time and space complexity. Specifically, with the first attention function, Luna packs the input sequence into a sequence of fixed length. Then, the packed sequence is unpacked using the second attention function. As compared to a more traditional attention mechanism, Luna introduces an additional sequence with a fixed length as input and an additional corresponding output, which allows Luna to perform attention operation linearly, while also storing adequate contextual information. We perform extensive evaluations on three benchmarks of sequence modeling tasks: long-context sequence modeling, neural machine translation and masked language modeling for large-scale pretraining. Competitive or even better experimental results demonstrate both the effectiveness and efficiency of Luna compared to a variety

研究の動機と目的

• Transformersを長いシーケンスへスケールさせる必要性を、二次的なアテンション計算の複雑さによって動機づける。
• 長さ固定の入力Pを用いてpackとunpackアテンションで線形時間/空間を実現するLunaを提案する。
• 可変長と自己回帰アテンションを維持しつつ、効率性と文脈容量を可能にする。
• 長い文脈モデリング、機械翻訳、および大規模な事前学習/ファインチューニングにおけるLunaの有効性を実証する。

提案手法

• コンテキスト C を固定長シーケンス P に圧縮する pack attention を、クエリ P を用いて導入する。
• Attn(X, Y_P) におけるクエリとして X を用い、パック表現を元のクエリ長に展開する unpack attention を導入する。
• LunaAttn(X, P, C) を定義し、層を通じて文脈情報を伝えるために Y_X と Y_P の両方を出力する。
• LayerNormとFFNを用いてLuna層を積み重ね、Y_XおよびY_Pへ正規化を適用し、FFNはY_Xのみに適用する。
• パラメータ削減のため、レイヤ内でW_Q, W_K, W_Vを共有することもできる（W_KをW_Vに結び付ける）。
• packingには適合した活性化関数（elu+1 または softplus）を用いて線形複雑さを維持するLuna因果アテンションのバリアントを提示し、unpackingにはsoftmaxを用いる。

実験結果

リサーチクエスチョン

• RQ1 注意機構を、長距離の文脈モデリングを損なうことなく、線形時間/空間に再定式化するにはどうすればよいか？
• RQ2 固定長の追加入力シーケンス P は、可変長入力に対して十分な文脈情報を捉えられるか？
• RQ3 Luna は因果アテンションと自己回帰デコーディングを効率的なままサポートできるか？
• RQ4 長い文脈のベンチマーク、機械翻訳、および大規模事前学習で、強力なベースラインと比較して Luna はどうであるか？

主な発見

• Luna は、長い文脈シーケンスモデリング、機械翻訳、および事前学習タスクにおいて、完全アテンションベースのベースラインや他の効率的なアテンション手法と比べて競争力がある、またはそれを上回る性能を示す。
• pack/unpack アテンションにより線形時間とメモリ複雑性を実現し、いくつかのベースラインに対して効率性の向上を示す。
• 小さな射影長（例: l = 16）は、LRAベンチマークおよび MT翻訳タスクで強力な性能を提供する。
• P に文脈情報を编码することで、MT実験における非文脈的な P と比較して性能が向上する。
• WMT’14 EN→DE の MT翻訳では、softplus 活性化と共有キー/値を用いた Luna は競争力のある BLEU スコアを示し、文脈的な P は非文脈的 P よりも顕著な向上を提供する。
• 事前学習の実験は、特に小規模なデータ領域で、QA や分類タスクのベースラインモデルと同等以上の性能を示す可能性を示唆している；完全モデル容量は大規模データの結果に影響する。