[論文レビュー] Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension

Todor Mihaylov, Anette Frank|arXiv (Cornell University)|Aug 28, 2019

Topic Modeling参考文献 52被引用数 14

ひとこと要約

本稿では、物語的読解のための自己注意Transformerエンコーダーに、共参照、意味的役割ラベル付け（SRL）、および話法関係という言語的アノテーションを統合する、議論に配慮した意味的自己注意（DASSA）機構を提案する。特定の議論的・意味的関係に注目するように特化した注目ヘッドを導入することで、ベースのQANetモデルに比べてNarrativeQAデータセット上で最大+3.43のRouge-L向上を達成し、特に長文脈および複雑な推論を要する質問において性能が向上した。

ABSTRACT

In this work, we propose to use linguistic annotations as a basis for a extit{Discourse-Aware Semantic Self-Attention} encoder that we employ for reading comprehension on long narrative texts. We extract relations between discourse units, events and their arguments as well as coreferring mentions, using available annotation tools. Our empirical evaluation shows that the investigated structures improve the overall performance, especially intra-sentential and cross-sentential discourse relations, sentence-internal semantic role relations, and long-distance coreference relations. We show that dedicating self-attention heads to intra-sentential relations and relations connecting neighboring sentences is beneficial for finding answers to questions in longer contexts. Our findings encourage the use of discourse-semantic annotations to enhance the generalization capacity of self-attention models for reading comprehension.

研究の動機と目的

• 長文の物語的テキストにおける読解を向上させるために、自己注意メカニズムに議論的・意味的言語的アノテーションを統合すること。
• 議論に配慮した注目ヘッドが、長文脈推論タスクにおけるモデルの一般化性能を向上させることを調査すること。
• 共参照、SRL、話法関係といった異なる言語的アノテーションが、質問応答性能に与える影響を評価すること。
• 文内および文間関係に特化した注目ヘッドが、回答の正確性を向上させることを確認すること。
• 各アノテーションタイプが、特定の質問タイプ（例：誰、いつ、なぜ、どこ）および文脈長に与える寄与を分析すること。

提案手法

• QANetエンコーダーを拡張し、共参照、SRL、話法関係（DR）といった特定の言語的アノテーションに注目する議論に配慮した自己注意ヘッドを導入する。
• 言語的アノテーションは既存のツールを用いて抽出され、トークンレベルのスパンに変換されて注目メカニズムに統合される。
• 各注目ヘッドは、特定のアノテーションタイプに関係するトークンのみに注目するように制限され、学習可能なスコープマスクを用いて注目範囲が制限される。
• マルチヘッド注目メカニズムを用い、一部のヘッドは議論的・意味的関係に特化させ、他のヘッドは一般注目を維持する。
• ベースモデルと同等のパラメータ数および注目計算量を維持することで、計算効率を保つ。
• エンコーダーは、物語的読解のため、NarrativeQAデータセット上でエンドツーエンドで微調整される。

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムに議論的・意味的アノテーションを統合することで、物語的読解の性能が向上するか？
• RQ2 共参照、SRL、話法関係といった言語的アノテーションのうち、どのタイプが回答の正確性に最も寄与しているか？
• RQ3 文内および文間関係に特化した注目ヘッドを導入することで、長文脈物語における性能が向上するか？
• RQ4 異なるアノテーションタイプが、特定の質問タイプ（例：誰、いつ、なぜ、どこ）に与える影響はいかなるものか？
• RQ5 議論に配慮した注目を統合することで、より長い文脈長への一般化性能が向上するか？

主な発見

• DASSAモデルは、NarrativeQAデータセット上でベースのQANetモデルに比べ最大+3.43のRouge-L向上を達成した。
• 文内話法関係（DR）は、全文脈長にわたり最も強く、かつ一貫した向上を示した。
• 意味的役割ラベル付け（SRL）は、特に短～中程度の文脈において「誰」および「いつ」の質問において性能を顕著に向上させた。
• 共参照解決は肯定的だが、弱く、文脈依存性の高い向上を示し、主に中程度の文脈で顕著だった。
• 話法関係（特に明示的DR）は、「なぜ」および「どこ」の質問において性能を向上させ、因果的および空間的関係の推論が強化されたことを示した。
• モデルは長文脈（800–1000トークン）への一般化性能が向上しており、議論に配慮した注目が長距離依存関係を捉えるのに役立つという仮説を支持した。