[論文レビュー] UNIQORN: Unified Question Answering over RDF Knowledge Graphs and Natural Language Text

Soumajit Pramanik, Jesujoba O. Alabi+2 more|arXiv (Cornell University)|Aug 19, 2021

Topic Modeling被引用数 10

ひとこと要約

UNIQORNは、微調整されたBERTモデルを用いて質問関連の証拠を抽出し、動的文脈グラフを構築することで、RDF知識グラフと自然言語テキストをシームレスに統合する統合的質問応答フレームワークを提案する。ノイズが多く多様な証拠から正確な答えを抽出するためにグループ・スティーナー木アルゴリズムを用い、ゼロショットおよび微調整設定の両方で最先端の手法（包括的に言語モデルを含む）を著しく上回り、解釈可能で証拠に基づいた出典を提供する。

ABSTRACT

Question answering over RDF data like knowledge graphs has been greatly advanced, with a number of good systems providing crisp answers for natural language questions or telegraphic queries. Some of these systems incorporate textual sources as additional evidence for the answering process, but cannot compute answers that are present in text alone. Conversely, the IR and NLP communities have addressed QA over text, but such systems barely utilize semantic data and knowledge. This paper presents a method for complex questions that can seamlessly operate over a mixture of RDF datasets and text corpora, or individual sources, in a unified framework. Our method, called UNIQORN, builds a context graph on-the-fly, by retrieving question-relevant evidences from the RDF data and/or a text corpus, using fine-tuned BERT models. The resulting graph typically contains all question-relevant evidences but also a lot of noise. UNIQORN copes with this input by a graph algorithm for Group Steiner Trees, that identifies the best answer candidates in the context graph. Experimental results on several benchmarks of complex questions with multiple entities and relations, show that UNIQORN significantly outperforms state-of-the-art methods for heterogeneous QA - in a full training mode, as well as in zero-shot settings. The graph-based methodology provides user-interpretable evidence for the complete answering process.

研究の動機と目的

• RDF知識グラフや非構造化テキストのような異種データソースにおける複雑な事実質問応答のギャップを埋める。
• 構造的データと非構造的データを別個のパラダイムとして扱い、互換性のない手法を用いる既存のQAシステムの限界を克服する。
• 両方のソースからの証拠を動的に統合する統合フレームワークを提供し、答えの出典と解釈可能性を保証する。
• 幻覚を引き起こしやすいLLMへの依存を減らすために、検証可能な証拠を伴う透明でグラフベースの推論メカニズムを提供する。

提案手法

• 微調整されたBERTモデルを用いて、RDF知識グラフとテキストコーパスから質問関連の証拠を抽出し、オンザフライで文脈グラフを構築する。
• 三項組やテキスト断片からの証拠をすべて統一されたグラフ内のノードとして表現し、エッジは意味的または関係的接続を捉える。
• 質問に含まれるすべての必須証拠グループ（例：エンティティや関係）を接続する最小部分グラフを特定するためにグループ・スティーナー木アルゴリズムを適用し、ノイズをフィルタリングし、答え関連のパスに焦点を当てる。
• 非生成的で一貫性のある処理を可能にするために、緩められた主語-述語-目的語構造を用いて異種証拠を統一する。
• 二段階パイプラインを採用する：BERTによる証拠抽出、その後にグループ・スティーナー木によるグラフベースの推論で答えを導出する。
• 最終的な答えの導出経路を可視化された部分グラフ（グループ・スティーナー木）として公開することで、解釈可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 RDF知識グラフと自然言語テキストの両方からの証拠を必要とする複雑な質問を、統合的QAフレームワークが効果的に処理できるか。
• RQ2 グラフベースの推論アプローチは、語彙化ベースの統合と比較して、異種証拠間の重要な関係をどれだけ保っているか。
• RQ3 非生成的でグラフベースの手法は、事実QAにおけるゼロショットおよびリtrieval増強生成（RAG）設定で、最先端のLLMをどの程度上回れるか。
• RQ4 グループ・スティーナー木の使用は、異種QAにおいて答えの正確性を向上させるとともに、解釈可能性と出典の明確化を維持できるか。

主な発見

• UNIQORNは、複数のベンチマークで異種質問応答の最先端手法を著しく上回り、ゼロショット設定でも同様に優れた性能を示す。
• 語彙化ベースの統合手法に比べ、複雑な推論に不可欠な証拠間の関係を損なわないため、優れた性能を発揮する。
• ゼロショットおよびリtrieval増強生成（RAG）設定の両方で、2つの主要なLLMを上回り、LLMが利用可能であっても効果的であることが示された。
• グループ・スティーナー木の使用により、透明でユーザーが解釈可能な証拠経路が得られ、答えの導出経路が追跡可能で信頼できるものとなる。
• 複数のエンティティと関係を含む複雑な質問を、混合ソースからの動的文脈グラフの構築と pruning によって効果的に処理する。
• グループ・スティーナー木アルゴリズムの強力な選択能力により、入力証拠に著しいノイズが含まれても高い正確性を維持できる。