[論文レビュー] Conditional Self-Attention for Query-based Summarization

Yujia Xie, Tianyi Zhou+2 more|arXiv (Cornell University)|Feb 18, 2020

Topic Modeling参考文献 28被引用数 15

ひとこと要約

本論文では、クエリに基づいてペアワイズトークン相互作用を条件づけることで自己注意機構を強化する、新たなニューラルモジュールである条件付き自己注意（CSA）を提案する。CSAは、クエリに関連するコンテキスト表現を動的に重み付けすることで、抽出的および要約的要約タスクにおいて、DebatepediaおよびHotpotQAベンチマークで最先端の結果を達成するクエリベース要約を向上させる。

ABSTRACT

Self-attention mechanisms have achieved great success on a variety of NLP tasks due to its flexibility of capturing dependency between arbitrary positions in a sequence. For problems such as query-based summarization (Qsumm) and knowledge graph reasoning where each input sequence is associated with an extra query, explicitly modeling such conditional contextual dependencies can lead to a more accurate solution, which however cannot be captured by existing self-attention mechanisms. In this paper, we propose extit{conditional self-attention} (CSA), a neural network module designed for conditional dependency modeling. CSA works by adjusting the pairwise attention between input tokens in a self-attention module with the matching score of the inputs to the given query. Thereby, the contextual dependencies modeled by CSA will be highly relevant to the query. We further studied variants of CSA defined by different types of attention. Experiments on Debatepedia and HotpotQA benchmark datasets show CSA consistently outperforms vanilla Transformer and previous models for the Qsumm problem.

研究の動機と目的

• 標準的な自己注意機構が序列モデルにおけるクエリ条件付き依存関係をモデル化する点で制限を抱えているという問題に取り組む。
• 与えられたクエリに関して、トークン間の条件付き依存関係を明示的に捉えることで、クエリベース要約（Qsumm）を改善する。
• 別々のコンponentsを必要とせず、局所的（ペアワイズ）およびグローバル（クエリ関連）な依存関係を両方モデル化できる統一モジュールを設計する。
• クエリに注意を向ける注意メカニズムを通じて、抽出的および要約的Qsummタスクにおいて、ヴァナイルなTransformerや先行モデルを上回る性能を達成する。

提案手法

• CSAは自己注意モジュール内にクロス注意機構を統合し、ペアワイズ注意をクエリに条件づける。
• 乗法的または加法的注意などの適合関数を用いて、各入力トークンとクエリ間の適合スコアを計算する。
• これらのクエリ依存スコアを用いて、標準的な自己注意を適用する前に入力トークンをスケーリングすることで、注意をクエリ関連コンテンツに偏らせる。
• 本手法は複数の注意バリエーション（例：乗法的、加法的）をサポートし、CSA-TransformerとしてTransformerアーキテクチャにモジュール化して統合される。
• 注意メカニズムは、クエリに応じて局所的依存関係とグローバルな関連性の両方をハイライトするように動的にシフトし、適応的コンテキストモデリングを可能にする。
• モデルは、抽出的および要約的要約に適した損失関数を用いて、クエリ-パassage-要約トリオのエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 外部クエリに条件づけられた依存関係を明示的にモデル化できるように、自己注意機構を強化することは可能か？ これにより、序列モデルにおける関連性が向上するか？
• RQ2 クエリ表現に自己注意を条件づけることで、クエリベース要約タスクにおけるパフォーマンスにどのような影響を与えるか？
• RQ3 別々のコンponentsを必要とせず、ペアワイズおよびグローバル（クエリ依存）な依存関係を1つのモジュールで効果的に捉えられるか？
• RQ4 CSA-Transformerは、抽出的および要約的クエリベース要約において、標準的なTransformerや先行SOTAモデルを上回る性能を示すか？

主な発見

• CSA-Transformerは、抽出的および要約的クエリベース要約の両方において、DebatepediaおよびHotpotQAベンチマークで最先端のパフォーマンスを達成した。
• モデルはヴァナイルなTransformerや過去のSOTAモデルを一貫して上回り、クエリ条件付き注意の有効性を示した。
• 可視化結果から、CSAの注意スコアがクエリ関連スパンと強く一致していることが確認され、メカニズムが関連コンテンツに注目できることを裏付けた。
• アブレーションスタディにより、条件付き注意コンponentが不可欠であることが確認され、その除去により顕著な性能低下が生じた。
• CSAは局所的依存関係とグローバルな関連性の両方を効果的に捉えており、注意パターンがクエリに応じて動的に適応している。
• 乗法的および加法的など、さまざまな注意バリエーションにわたって一般化がうまくいっており、頑健性と柔軟性を示した。