[論文レビュー] Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling

Tao Shen, Tianyi Zhou+3 more|arXiv (Cornell University)|Apr 3, 2018

Topic Modeling参考文献 59被引用数 77

ひとこと要約

Bi-BloSANはRNN/CNN不要のシーケンスエンコーダを導入し、ブロック内自己-attentionとブロック間自己-attentionを用いてSANに似た性能を、RNNと同等のメモリ効率で実現します。9つのNLPタスクで検証されています。

ABSTRACT

Recurrent neural networks (RNN), convolutional neural networks (CNN) and self-attention networks (SAN) are commonly used to produce context-aware representations. RNN can capture long-range dependency but is hard to parallelize and not time-efficient. CNN focuses on local dependency but does not perform well on some tasks. SAN can model both such dependencies via highly parallelizable computation, but memory requirement grows rapidly in line with sequence length. In this paper, we propose a model, called "bi-directional block self-attention network (Bi-BloSAN)", for RNN/CNN-free sequence encoding. It requires as little memory as RNN but with all the merits of SAN. Bi-BloSAN splits the entire sequence into blocks, and applies an intra-block SAN to each block for modeling local context, then applies an inter-block SAN to the outputs for all blocks to capture long-range dependency. Thus, each SAN only needs to process a short sequence, and only a small amount of memory is required. Additionally, we use feature-level attention to handle the variation of contexts around the same word, and use forward/backward masks to encode temporal order information. On nine benchmark datasets for different NLP tasks, Bi-BloSAN achieves or improves upon state-of-the-art accuracy, and shows better efficiency-memory trade-off than existing RNN/CNN/SAN.

研究の動機と目的

• 自己注意の利点とRNNに劣らない低いメモリコストを併せ持つシーケンスエンコーダの動機づけ。
• 局所的なブロック内依存とグローバルなブロック間依存を捉えるためのマスク付きブロック自己注意（mBloSA）の提案。
• 包括的なシーケンスエンコーディングのためのBi-Directional Block Self-AttentionネットワークBi-BloSANの開発。
• NLPタスク全般における効率とメモリのトレードオフと競争力のある精度を実証。
• 局所/グローバル文脈とマスキング機構の寄与を定量化するアブレーション分析を提供。

提案手法

• 入力シーケンスを等長ブロックに分割し、各ブロック内でマスク付き自己注意を適用する（ブロック内）。
• ブロック内出力に対するsource2token自己注意を用いてブロックレベル表現を計算する（ブロック間ステップ）。
• ブロック間でマスク付き自己注意を適用し長距離依存をモデル化する（ブロック間SAN）。
• ゲーティング機構を介して局所およびグローバルなブロック文脈出力を元の入力と融合する。
• Bi-BloSANは前方マスクと後方マスクを持つ2つのmBloSAモジュールを積み重ね、時間順序をエンコードする（Bi-BloSA）。
• 各SANが短いシーケンスのみを扱うようにすることでメモリを削減し、全シーケンスSANに比べて効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのエンコーダがRNNと同程度のメモリフットプリントで動作しつつ精度を維持または向上できるか？
• RQ2 2層のブロック単位の注意（ブロック内+ブロック間）は局所的・全体的依存を効果的に捉えるか？
• RQ3 前方マスキングと後方マスキングおよび特徴レベルの注意は時間的順序と文脈感度にどのように影響するか？
• RQ4 Bi-BloSANの効率とメモリのトレードオフは、RNN/CNN/SANのベースラインと比較してどの程度か？

主な発見

• Bi-BloSANは九つのNLPデータセットで最先端または競争力のある精度を達成し、効率とメモリのトレードオフが良好。
• SNLIではBi-BloSAN (480D) がテスト精度85.7%を達成し、複数のベースラインより学習速度が速く、メモリはRNNに類似。
• Bi-BloSANは複数のRNN/CNN/SANベースラインより精度で優れ、DiSANよりもメモリ効率が高い。
• アブレーションにより局所的（ブロック内）およびグローバル（ブロック間）の文脈が性能に有意に寄与し、マスク（mBloSA）は最大で2.6ポイントの精度向上をもたらすことが示された。
• source2token自己注意は、バニラ注意と比べて性能を大幅に向上（SNLIで約+3.3%）させる。
• Bi-BloSANはSQuAD改変の読解とSICKの意味的関連性で堅調な結果を示し、タスクを横断した頑健な一般化を示唆。