[論文レビュー] Tri-Attention: Explicit Context-Aware Attention Mechanism for Natural Language Processing

Rui Yu, Yifeng Li+2 more|arXiv (Cornell University)|Nov 5, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、自然言語処理における文脈に配慮した表現を向上させるために、クエリ、キー、コンテキストの間の相互作用を明示的にモデル化する新しい三重アテンションメカニズム、Tri-Attentionを提案する。標準的なバイアテンションを三次元テンソル演算に拡張することで、文書照合、対話、読解理解といった複数の自然言語処理タスクにおいて、非アテンションおよびアテンションベースのベースラインと比較して一貫した性能向上を達成した。

ABSTRACT

In natural language processing (NLP), the context of a word or sentence plays an essential role. Contextual information such as the semantic representation of a passage or historical dialogue forms an essential part of a conversation and a precise understanding of the present phrase or sentence. However, the standard attention mechanisms typically generate weights using query and key but ignore context, forming a Bi-Attention framework, despite their great success in modeling sequence alignment. This Bi-Attention mechanism does not explicitly model the interactions between the contexts, queries and keys of target sequences, missing important contextual information and resulting in poor attention performance. Accordingly, a novel and general triple-attention (Tri-Attention) framework expands the standard Bi-Attention mechanism and explicitly interacts query, key, and context by incorporating context as the third dimension in calculating relevance scores. Four variants of Tri-Attention are generated by expanding the two-dimensional vector-based additive, dot-product, scaled dot-product, and bilinear operations in Bi-Attention to the tensor operations for Tri-Attention. Extensive experiments on three NLP tasks demonstrate that Tri-Attention outperforms about 30 state-of-the-art non-attention, standard Bi-Attention, contextual Bi-Attention approaches and pretrained neural language models1.

研究の動機と目的

• 標準的なバイアテンションメカニズムの限界、すなわち文脈情報を無視し、クエリ、キー、コンテキストの間の相互作用をモデル化できないことに対処すること。
• クエリ、キー、コンテキストの間の相互作用を明示的に捉える一般化可能なアテンションフレームワークを開発し、人間の文脈的注意に類似した挙動を再現すること。
• 文書照合、対話理解、機械的読解理解といった文脈に依存する自然言語処理タスクのパフォーマンスを向上させることで、コンテキストをアテンション計算に直接統合すること。
• 異なる関連スコアリング手法（加法的、ドット積、スケーリングドット積、双線形）に基づく複数のバリエーションを備えた柔軟でスタック可能なアーキテクチャを提供すること。

提案手法

• クエリ、キー、コンテキストの三重相互作用を形成するために、標準的なバイアテンションを拡張し、コンテキストをアテンション計算における第三の次元として導入するTri-Attentionメカニズムを提案する。
• テンソル代数を用いて4つのバリエーションを導出する：Tri-Attention_Add、Tri-Attention_Dot、Tri-Attention_ScaledDot、Tri-Attention_Bilinear。それぞれが異なる関連スコアリング演算に基づく。
• クエリ、キー、コンテキスト間の関連スコアをテンソル演算で計算することで、三次元のアテンション行列を生成し、シーケンスおよび文脈的相互作用を統合的にモデル化する。
• コンテキストと値の間の関連を計算することで文脈的値を導入し、最終出力の意味的空間における一貫性を確保する。
• タスクに応じてアテンション層の数を動的に調整可能なスタック可能でモジュール型のアーキテクチャ（TAN）を採用する。
• 深層ニューラルネットワーク内にTri-Attentionモジュールを適用し、自然言語処理タスクにおけるエンドツーエンド学習を実現。設計選択の妥当性を検証するためのアブレーションおよびハイパーパramータ分析を実施。

実験結果

リサーチクエスチョン

• RQ1 クエリ、キー、コンテキストの間の相互作用を明示的にモデル化することで、標準的なバイアテンションと比較して自然言語処理タスクにおけるアテンション性能が向上するか？
• RQ2 異なるテンソルベースの関連スコアリング手法（加法的、ドット積など）が、Tri-Attentionメカニズムのパフォーマンスに与える影響は何か？
• RQ3 アテンション計算にコンテキストを第一級の要因として統合することで、多様な自然言語処理タスクにおける一般化性能が向上するか？
• RQ4 異なる自然言語処理タスクにおける最適なTri-Attention層の数と関連スコアリング手法は何か？
• RQ5 Tri-Attentionは、非アテンションモデルおよび最先端の事前学習済み言語モデルの両方を上回る性能を、文脈に依存する自然言語処理タスクで示せるか？

主な発見

• Tri-Attentionは、文書照合（LCQMC）、対話（Ubuntu）、読解理解（RACE）という3つの主要な自然言語処理タスクにおいて、非アテンション、標準バイアテンション、文脈付きバイアテンション、事前学習済み言語モデルを含む30の最先端モデルをすべて上回る性能を示した。
• 加法的ベースのバリエーション（Tri-Attention_Add）は、特に文のペア間の微細な意味的差異を識別する際に優れた安定性とパフォーマンスを示した。
• LCQMCデータセットでは、バイアテンションとC-BiAttentionが失敗した151件のインスタンスを正しく分類した。そのうち102件は否定的ペア（意味的に異なる）であり、曖昧なケースにおける識別性能の向上を示している。
• Tri-Attention層の数と関連スコアリング手法の選択がパフォーマンスに顕著な影響を及ぼし、最適な設定はタスクによって異なるため、タスク固有のチューニングが不可欠であることが示された。
• 事例スタディでは、Tri-Attentionが文脈的情報を効果的に活用して曖昧性を解消できることを示した。例えば、「再生」か「ダウンロード」の意味の違いを、単語レベルの類似性が誤解を招く標準モデルとは対照的に区別できた。
• このフレームワークは一般化可能で、BERT事前学習を用いない場合でも有効であるため、多様なアーキテクチャに統合可能なプラグイン型アテンションモジュールとしての価値があることが示された。