[論文レビュー] Unified Open-Domain Question Answering with Structured and Unstructured Knowledge.

Barlas Oğuz, Xilun Chen+7 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling被引用数 26

ひとこと要約

本論文は、構造化済み、非構造化、準構造化知識ソース（例：テーブル、知識ベース、テキスト）を均質なテキスト形式に変換する統一されたオープンドメイン質問応答フレームワークを提案する。これにより、元々テキストのみを想定して設計された強力なリトリーバー・リーダーモデルを、あらゆる種類の知識源に適用可能になる。テキスト化によってすべての知識タイプを統一することで、3つの主要なODQAベンチマークで最先端の性能を達成し、元々単一ソース評価を想定して設計されたソースを組み合わせても一貫した向上効果を示している。

ABSTRACT

We study open-domain question answering (ODQA) with structured, unstructured and semi-structured knowledge sources, including text, tables, lists, and knowledge bases. Our approach homogenizes all sources by reducing them to text, and applies recent, powerful retriever-reader models which have so far been limited to text sources only. We show that knowledge-base QA can be greatly improved when reformulated in this way. Contrary to previous work, we find that combining sources always helps, even for datasets which target a single source by construction. As a result, our unified model produces state-of-the-art results on 3 popular ODQA benchmarks.

研究の動機と目的

• テキスト、テーブル、知識ベース、リストといった多様な知識ソースを、1つのオープンドメイン質問応答フレームワークに統合する課題に対処すること。
• 従来のリトリーバー・リーダーモデルが通常非構造化テキストに限定されているという制限を克服し、異種の知識ソースに対応できるようにすること。
• 単一ソース評価を想定して構築されたデータセットであっても、複数の知識ソースを組み合わせることで質問応答性能が一貫して向上するかどうかを調査すること。
• 知識表現の統一と高度なニューラルリーディングモデルの活用により、確立されたオープンドメイン質問応答ベンチマークで最先端の結果を達成すること。

提案手法

• 構造化（例：テーブル、知識ベース）、非構造化（例：テキスト）、準構造化（例：リスト）のすべての知識ソースが、一貫したテキスト化プロセスを通じて均一なテキスト形式に変換される。
• 統一されたテキスト表現により、最先端のリトリーバー・リーダーモデルを、すべての知識タイプに一様に適用可能になる。
• リトリーバーは、密度ベクトル表現を用いて統一されたテキストコーパス上で実行され、元のソース形式に関係なく関連するパラグラフを効果的に検索可能になる。
• リーダーモデルは、統一された知識ベースから抽出された質問-回答ペアで微調整され、検索されたパラグラフから直接答えを生成する。
• フレームワークは、ソースタイプごとにアーキテクチャを変更せず、標準的なニューラルQAアーキテクチャを用いてエンドツーエンドの学習と推論をサポートする。
• ソースの組み合わせは、すべてのテキスト化された知識ソースを1つのリトリーブコーパスに連結することで実現され、異種データ間で統合的なリトリーブとリーディングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 標準的なリトリーバー・リーダーモデルを用いて、構造化および準構造化知識ソースを非構造化テキストと効果的に統一できるか？
• RQ2 ベンチマークが単一ソースを想定して構築されていなくても、複数の知識ソースを組み合わせることで質問応答性能が一貫して向上するか？
• RQ3 構造化知識をテキストに再定式化し、テキスト専用のニューラルモデルを適用することで、知識ベースQAの性能はどの程度向上できるか？
• RQ4 特にソース固有の設計制約が強いベンチマークを含め、多様なODQAベンチマークにおいて、ソースの組み合わせによるパフォーマンス向上が頑健であるか？

主な発見

• 統一されたテキスト化アプローチにより、MS-MARCO、Natural Questions、TriviaQAを含む3つの主要なオープンドメイン質問応答ベンチマークで最先端のパフォーマンスが達成された。
• 構造化、非構造化、準構造化ソースを組み合わせることで、一貫した性能向上が得られ、元々単一ソースモデルの評価を想定して作成されたデータセットに対しても同様に有効であった。
• 構造化知識をテキストに再定式化し、ニューラルリトリーバー・リーダーモデルで処理することで、知識ベースQAのパフォーマンスが顕著に向上した。
• 異なる知識タイプを別々に扱う従来のアプローチよりも優れた性能を示しており、統一された表現の利点を実証した。
• ソースの組み合わせによる利点は特定のデータタイプに限定されず、テキスト、テーブル、知識ベースのすべてで改善が観察された。
• ソースタイプごとにアーキテクチャを変更せず、テキスト化という統一戦略の有効性を示している。