[論文レビュー] UniK-QA: Unified Representations of Structured and Unstructured Knowledge for Open-Domain Question Answering

Barlas Oğuz, Xilun Chen+7 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling被引用数 15

ひとこと要約

UniK-QA は、構造化知識（例：知識ベース、テーブル、リスト）をテキスト形式に変換し、すべての情報源を単一のリトリーバ・リーダー・アーキテクチャで処理する統合フレームワークを提案する。このアプローチにより、NaturalQuestions（+3.5 EM）およびWebQuestions（+2.6 EM）で最先端の結果を達成し、従来のグラフベース手法と比較してKBQA性能を11%向上させた。

ABSTRACT

We study open-domain question answering with structured, unstructured and semi-structured knowledge sources, including text, tables, lists and knowledge bases. Departing from prior work, we propose a unifying approach that homogenizes all sources by reducing them to text and applies the retriever-reader model which has so far been limited to text sources only. Our approach greatly improves the results on knowledge-base QA tasks by 11 points, compared to latest graph-based methods. More importantly, we demonstrate that our unified knowledge (UniK-QA) model is a simple and yet effective way to combine heterogeneous sources of knowledge, advancing the state-of-the-art results on two popular question answering benchmarks, NaturalQuestions and WebQuestions, by 3.5 and 2.6 points, respectively. The code of UniK-QA is available at: https://github.com/facebookresearch/UniK-QA.

研究の動機と目的

• テキスト、テーブル、リスト、知識ベースなど多様な知識ソースを統合し、単一の統合QAシステムに統合する課題に対処すること。
• 独立して動作する既存のKBQAおよびTextQAシステムが、マルチソース推論において制限を抱える問題を克服すること。
• 統合的でテキストベースのリトリーバ・リーダー・フレームワークが、オープンドメインQAにおいて、専用のグラフベースまたはハイブリッドアーキテクチャを上回ることを示すこと。
• スキーマに特化した設計や複雑なマルチモジュールパイプラインを必要とせず、複数の知識ソースをシンプルかつスケーラブルに統合できること。

提案手法

• すべての構造化知識ソース（知識ベース関係、テーブル、リスト）が自然言語のテキストパラグラフに線形化される。
• テキスト、リスト、テーブル、KB関係を含む統合コーパス上で微調整されたドンスパラグラフリトリーバ（DPR）が、関連するパラグラフを検索するために使用される。
• 上位k個の検索パラグラフから答えを生成するように、リーダーモデル（T5-largeを搭載したFiD）が訓練され、すべての入力をテキストとして扱う。
• リトリーブの再現性とパフォーマンスのバランスを図るため、質問ごとにKBパラグラフの割合を設定可能にし、開発セットで最適化される。
• 知識ベース関係は、記号的関係ではなく、そのテキスト表出形（例：'born in'）で表現されるため、標準的なNLPモデルとエンドツーエンドで訓練可能になる。
• 異なるソースからのパラグラフが混合され、リーダーが同時に処理することで、異種データ型間の統合的推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統合的テキストベースのリトリーバ・リーダー・フレームワークは、オープンドメインQAにおける構造的・非構造的・準構造的知識ソースを効果的に処理できるか？
• RQ2 構造化知識をテキストにフラット化することで、専用のグラフベース手法と比較してKBQAベンチマークでのパフォーマンスが向上するか？
• RQ3 テーブル、リスト、知識ベースの統合は、標準的なオープンドメインQAベンチマークにおけるリトリーブおよびリーディングのパフォーマンスにどのような影響を与えるか？
• RQ4 最大のパフォーマンス向上を得るために、文脈に含めるKBパラグラフの最適な割合は何か？
• RQ5 マルチモジュールまたはマルチアーキテクチャシステムと比較して、単一の均質なモデルがマルチソースQAで優れた性能を発揮できるか？

主な発見

• UniK-QA は、先行する最先端手法と比較して、NaturalQuestionsベンチマークで3.5 EMの向上を達成した。
• WebQuestionsベンチマークでは2.6 EMポイントの向上を示し、新たな最先端結果を樹立した。
• WebQSPデータセットにおいて、KBQA性能が正確一致（exact match）で11%向上し、従来のグラフベース手法を上回った。
• モデルは、KB関係をテキストに線形化することで、構造的クエリに対しても、ドンスリトリーブおよびリーダーモデルの有効な利用が可能であることを示した。
• 最適なKBパラグラフの割合は、データセットやKBソースにかかわらず比較的安定しており、WebQuestionsではKB統合が最大40%の文脈パラグラフにまで効果を発揮した。
• 統合フレームワークは、Wikipediaのテキスト、テーブル、リスト、および2つの知識ベース（FreebaseとWikidata）を、スキーマに特化した変更なしに、単一でスケーラブルなQAシステムに統合した。