[論文レビュー] Knowledge-Aided Open-Domain Question Answering

Mantong Zhou, Zhouxing Shi+2 more|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 36被引用数 9

ひとこと要約

本稿では、外部の知識トリプルを用いて質問-文書および文書-文書の関係をモデル化することで、文書検索と回答の再順序付けを向上させる、知識支援型オープンドメイン質問応答（KAQA）フレームワークを提案する。関係性グラフ（G^Q および G^D）を構築し、検索部および再順序付け部に統合することで、SQuAD-open で最大 2.9%、Quasar-T で 0.9% の F1 スコア向上を達成し、複数のデータセットで一貫した性能向上を示した。

ABSTRACT

Open-domain question answering (QA) aims to find the answer to a question from a large collection of documents.Though many models for single-document machine comprehension have achieved strong performance, there is still much room for improving open-domain QA systems since document retrieval and answer reranking are still unsatisfactory. Golden documents that contain the correct answers may not be correctly scored by the retrieval component, and the correct answers that have been extracted may be wrongly ranked after other candidate answers by the reranking component. One of the reasons is derived from the independent principle in which each candidate document (or answer) is scored independently without considering its relationship to other documents (or answers). In this work, we propose a knowledge-aided open-domain QA (KAQA) method which targets at improving relevant document retrieval and candidate answer reranking by considering the relationship between a question and the documents (termed as question-document graph), and the relationship between candidate documents (termed as document-document graph). The graphs are built using knowledge triples from external knowledge resources. During document retrieval, a candidate document is scored by considering its relationship to the question and other documents. During answer reranking, a candidate answer is reranked using not only its own context but also the clues from other documents. The experimental results show that our proposed method improves document retrieval and answer reranking, and thereby enhances the overall performance of open-domain question answering.

研究の動機と目的

• 独立スコアリングの限界を解消するため、ゴールデンドキュメントや正解がグローバルな文脈の欠如により見逃されがちな点を是正する。
• 検索および再順序付け段階に外部知識ベースからの関係的知識を統合することで、オープンドメインQAの性能を向上させる。
• 局所的証拠（質問-文書リンク）とグローバルな文脈（文書-文書関係）の両方をモデル化することで、スコアリングの正確性を向上させる。
• 質問-文書および文書-文書のグラフが検索部および再順序付け部に与える影響を、個別および統合的に評価する。

提案手法

• WordNet などの外部リソースから得た知識トリプルを用いて、質問と候補文書を意味的関係で結ぶことで、質問-文書グラフ（G^Q）を構築する。
• 候補文書を共有エンティティや知識トリプルから導出される意味的類似性に基づいてリンクすることで、文書-文書グラフ（G^D）を構築する。
• G^Q と G^D を検索部に統合し、直接的な質問-文書証拠に加え、関連文書からの間接的証拠を用いて候補文書をスコアリングする。
• G^Q と G^D からの手がかりを再順序付け部に組み込むことで、候補回答のスコアリングを局所的文脈だけでなく、他の文書からの証拠にも基づかせる。
• グラフ符号化技術を用いて、検索部および再順序付け部のニューラルコンポonentに関係的知識を表現させ、複数文書にわたる推論能力を向上させる。
• G^Q と G^D が検索部および再順序付け部に与える寄与度を分離するためのアブレーションスタディを実施し、有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 質問-文書関係（G^Q）をモデル化することで、オープンドメインQAにおける文書検索性能にどのような影響を与えるか？
• RQ2 文書-文書関係（G^D）を統合することで、回答再順序付けの正確性はどの程度向上するか？
• RQ3 異なるデータセットにおいて、G^Q と G^D が検索部および再順序付け部に与える相対的寄与度はいかほどか？
• RQ4 外部知識ベースからの関係的知識を統合することで、検索および再順序付けにおける独立スコアリングに起因する性能差を縮小できるか？
• RQ5 グローバルな文書関係（G^D）を統合することで、トップ-kに含まれない正解の特定が可能になるか？

主な発見

• 完全な KAQA モデルは、SQuAD-open で F1 スコア 53.4、Quasar-T で 62.2、TriviaQA-unfiltered で 72.2 を達成し、ベースラインモデルを上回った。
• G^Q を削除すると、SQuAD-open で F1 が 2.9% 減少し、Quasar-T で 0.5% 減少した。これは G^Q が SQuAD-open に強く寄与していることを示している。
• G^D を削除すると、SQuAD-open で F1 が 1.3% 減少し、Quasar-T で 0.9% 減少した。これは、G^D が文書リンクが密な Quasar-T でより大きな寄与をしていることを示している。
• アブレーションスタディの結果、検索部は G^Q および G^D の両方の恩恵を再順序付け部よりも大きく受けている。
• 再順序付け部では、G^D を削除した際の F1 減少（SQuAD-open で 1.9%）が G^Q を削除した際の減少（0.4%）よりも大きい。これは G^D が回答の信頼性スコアリングにより多くのグローバル文脈を提供していることを示している。
• 本手法は、すべての3つのデータセットで一貫して性能を向上させ、完全モデルは SQuAD-open における再現率の上限と4.0 F1ポイント以内に近づいた。