[論文レビュー] Open Domain Question Answering over Virtual Documents: A Unified Approach for Data and Text.

Kaixin Ma, Hao Cheng+3 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 43被引用数 4

ひとこと要約

本論文は、Wikipediaの表記述とWikidataの三項対を統合した拡張知識源としての自然言語化された知識を統合する、オープンドメイン質問応答のための統合フレームワークUDT-QAを提案する。データから文章への生成を活用して検索と推論を強化することで、Natural Questionsで最先端の性能を達成し、特に構造化された知識の推論において、テキストのみのベースラインと比べ顕著な向上を示した。

ABSTRACT

Due to its potential for a universal interface over both data and text, data-to-text generation is becoming increasingly popular recently. However, few previous work has focused on its application to downstream tasks, e.g. using the converted data for grounding or reasoning. In this work, we aim to bridge this gap and use the data-to-text method as a means for encoding structured knowledge for knowledge-intensive applications, i.e. open-domain question answering (QA). Specifically, we propose a verbalizer-retriever-reader framework for open-domain QA over data and text where verbalized tables from Wikipedia and triples from Wikidata are used as augmented knowledge sources. We show that our Unified Data and Text QA, UDT-QA, can effectively benefit from the expanded knowledge index, leading to large gains over text-only baselines. Notably, our approach sets the single-model state-of-the-art on Natural Questions. Furthermore, our analyses indicate that verbalized knowledge is preferred for answer reasoning for both adapted and hot-swap settings.

研究の動機と目的

• オープンドメイン質問応答のような知識集約的タスクにおいて、データから文章への生成を活用するというギャップを埋める。
• Wikipediaの表とWikidataの三項対からの構造化された知識を統合的にQAフレームワークに統合し、推論と接地性を向上させる。
• データとテキストを統一された知識源として扱う、verbalizer-retriever-readerアーキテクチャを開発し、QA性能を向上させる。
• 適応設定およびホットスワップ設定の両方において、自然言語化された知識の有効性を評価し、推論と検索に与える影響を検証する。
• 統合されたデータとテキスト知識を用いて、Natural Questionsベンチマークで単一モデルとしての最先端性能を確立する。

提案手法

• Wikipediaの表とWikidataの三項対からの構造化された知識を自然言語テキストに変換するverbalizerモジュールを用い、インデキシングを行う。
• テキストと自然言語化されたデータの両方を統合したインデックスから関連する自然言語化された知識パラグラフを検索するリtrieverコンponentを採用する。
• 取得したパラグラフに基づいて回答を生成するリーダーモデルを適用し、テキストと構造化データの両方を統合的に用いたエンドツーエンド推論を可能にする。
• 生のテキストと表および三項対のデータから文章に変換された記述を統合した、統一された知識インデックスを構築する。
• 適応設定およびホットスワップ設定をサポートするフレームワークを設計し、推論時における自然言語化された知識の柔軟な統合を可能にする。
• 検索補強生成技術を活用し、テキスト的および構造化された知識源の両方に根拠を置いた回答生成を強化する。

実験結果

リサーチクエスチョン

• RQ1 データから文章への生成された知識をテキスト知識と統合することで、オープンドメイン質問応答の性能が向上するか？
• RQ2 自然言語化された表とWikidata三項対を含めることで、テキストのみのベースラインと比較して検索と回答生成の性能にどのような影響を与えるか？
• RQ3 自然言語化された知識は、適応設定およびホットスワップ設定の両方のQA設定において一貫した利点を提供するか？
• RQ4 統合されたデータとテキスト知識インデックスは、オープンドメインQAにおける構造化された事実の推論に、どの程度効果的に改善をもたらすか？
• RQ5 この統合された知識エンコーディングを用いた単一モデルアプローチは、Natural QuestionsのようなベンチマークQAデータセットで最先端の性能を達成できるか？

主な発見

• UDT-QAは、自然言語化されたWikipediaの表とWikidata三項対を統合することで、Natural Questionsベンチマークで単一モデルとしての最先端性能を達成した。
• モデルはテキストのみのベースラインと比べて顕著な性能向上を示し、拡張された知識インデックスがQAの正確性を顕著に向上させることを示した。
• 適応設定およびホットスワップ設定の両方において、自然言語化された知識が回答推論に一貫して優れていることが確認され、さまざまな構成にわたる頑健性と一般化性を示した。
• データとテキストの統一インデックスは、特に構造化された事実の複雑な推論において、より効果的な検索と接地性を可能にした。
• verbalizer-retriever-readerフレームワークは両モodalを効果的に活用し、データから文章への生成が知識エンコーディング戦略として用いられることで、下流のQAに寄与することを示した。
• 結果から、適切に自然言語化されインデキシングされた構造化された知識は、オープンドメインQAにおける回答生成と推論に有意義に寄与することが確認された。