[論文レビュー] Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

Bo Zheng, Haoyang Wen+6 more|arXiv (Cornell University)|May 12, 2020

Topic Modeling参考文献 33被引用数 6

ひとこと要約

本論文は、BERTとGATを用いて、トークン、文、段落、文書の4つの粒度で文書を統合的にモデル化するGATベースのフレームワークを提案する。Natural Questionsデータセットにおけるマルチグレインマシンリーディングコンprehェンションの向上を目的とし、長文（段落レベル）と短文（エンティティレベル）の回答予測を同時に学習することで、粒度間の依存関係を捉える。提出時における両指標でSOTA（最先端）の性能を達成した。

ABSTRACT

Natural Questions is a new challenging machine reading comprehension benchmark with two-grained answers, which are a long answer (typically a paragraph) and a short answer (one or more entities inside the long answer). Despite the effectiveness of existing methods on this benchmark, they treat these two sub-tasks individually during training while ignoring their dependencies. To address this issue, we present a novel multi-grained machine reading comprehension framework that focuses on modeling documents at their hierarchical nature, which are different levels of granularity: documents, paragraphs, sentences, and tokens. We utilize graph attention networks to obtain different levels of representations so that they can be learned simultaneously. The long and short answers can be extracted from paragraph-level representation and token-level representation, respectively. In this way, we can model the dependencies between the two-grained answers to provide evidence for each other. We jointly train the two sub-tasks, and our experiments show that our approach significantly outperforms previous systems at both long and short answer criteria.

研究の動機と目的

• 従来のモデルが長文と短文の抽出を独立したタスクとして扱い、互いの依存関係を無視するという限界を是正すること。
• グラフベースの階層的表現を用いて、トークン、文、段落、文書の複数の粒度で文書をモデル化すること。
• 共有のマルチグレイン表現を用いて長文と短文のサブタスクを同時に学習することで、Natural Questionsベンチマークにおける性能を向上させること。
• 二重粒度の回答間の依存関係をモデル化することで、全体のMRC精度が向上することを示すこと。

提案手法

• モデルはBERTを用いて質問と文書断片を文脈的な埋め込みに変換する。
• ノードがトークン、文、段落、文書を表す非均質なグラフを構築し、エッジはそれらの間の構造的・意味的関係を符号化する。
• グラフ自己注意ネットワーク（GAT）を用いて、グラフ全体にわたる表現の伝搬と集約を行い、粒度間の階層的依存関係を捉える。
• 長文の回答予測（段落レベルの表現から）と短文の回答予測（トークンレベルの開始/終了スパンから）を同時に最適化する。
• マルチグレイン表現を統合するグラフ統合層を導入し、階層間の情報フローと同時に最適化を可能にする。
• 推論時、パイプライン戦略を用いる：まず長文の回答を選択し、その後その選択された長文から短文の回答を抽出する。

実験結果

リサーチクエスチョン

• RQ1 長文と短文の回答予測を同時に学習することで、マルチグレインMRCベンチマークの性能が向上するか？
• RQ2 トークン、文、段落、文書の複数の粒度で文書をモデル化することで、回答抽出にどのような恩恵がもたらされるか？
• RQ3 グラフ自己注意機構が文書の複数レベル間の階層的依存関係をどのように捉えているか？
• RQ4 グラフエンコーダーの異なる構成要素（例：関係埋め込み、自己注意、統合層）がモデル性能に与える影響は何か？

主な発見

• 提出時（2019年6月25日）のNatural Questionsベンチマークにおいて、長文および短文の両方の評価基準でSOTA性能を達成した。
• 長文と短文のタスクを同時に学習することで、独立に学習する場合と比較して性能が向上し、いずれのサブタスクを除外しても長文F1が5.0%低下、短文F1が0.9%低下した。
• グラフモジュール全体を削除すると、長文F1が5.0%低下し、短文F1も0.9%低下した。これにより、マルチグレイングラフ表現の重要性が示された。
• アブレーションスタディの結果、グラフエンコーダーの各構成要素（関係埋め込み、グラフ統合層、自己注意）が性能向上に寄与しており、それぞれを削除すると0.5%～0.8%の性能低下が生じた。
• 開発セットにおいて、長文および短文の両方の基準で、単一の人の人間性能を上回った。