[論文レビュー] Reasoning Over Virtual Knowledge Bases With Open Predicate Relations

Haitian Sun, Pat Verga+3 more|arXiv (Cornell University)|Feb 14, 2021

Topic Modeling参考文献 42被引用数 7

ひとこと要約

本稿では、構造化された監視情報なしに、非構造化テキストから仮想知識ベース（VKB）を構築するための Open Predicate Query Language（OPQL）を提案する。OPQLは、エンティティ・関係ペアの表現を学習する二重エンコーダー事前学習アプローチを用いる。OPQLは効果的なマルチホップ推論を可能にし、言語モデルに統合された際、構成的推論タスクにおいてより大きなモデルを上回る最先端の性能を達成する。

ABSTRACT

We present the Open Predicate Query Language (OPQL); a method for constructing a virtual KB (VKB) trained entirely from text. Large Knowledge Bases (KBs) are indispensable for a wide-range of industry applications such as question answering and recommendation. Typically, KBs encode world knowledge in a structured, readily accessible form derived from laborious human annotation efforts. Unfortunately, while they are extremely high precision, KBs are inevitably highly incomplete and automated methods for enriching them are far too inaccurate. Instead, OPQL constructs a VKB by encoding and indexing a set of relation mentions in a way that naturally enables reasoning and can be trained without any structured supervision. We demonstrate that OPQL outperforms prior VKB methods on two different KB reasoning tasks and, additionally, can be used as an external memory integrated into a language model (OPQL-LM) leading to improvements on two open-domain question answering tasks.

研究の動機と目的

• 既存の仮想KBが事前に存在する構造化知識ベースからの遠隔監視に依存するという限界を解消すること。
• ラベル付き関係や構造化された監視を一切必要としない、非構造化テキストコーパスから直接仮想KBを構築する手法を開発すること。
• テキストから抽出されたオープンボキャブラリーの関係に対して、構成的およびマルチホップ推論を可能にすること。
• 事前学習済み言語モデルにOPQLメモリを統合し、推論および質問応答能力を強化すること。

提案手法

• OPQLは、トピックエンティティ埋め込みと関係埋め込みを組み合わせたキーと、ターゲットエンティティ埋め込みである値を持つキーバリュー記憶を構築する。
• エンティティリンクトキストコーパスで事前学習された二重エンコーダー構造を用い、エンティティ・関係ペアの密度表現を学習する。
• 事前に定義されたKBスキーマに依存せず、自然言語のオープンエンド関係（例：「著者」）をテキストから直接に埋め込み表現として学習する。
• クエリ埋め込みに基づいて関連するキーバリューペアを検索することで、複数のエントリに対して微分可能な推論を可能にする。
• 関係エンコーダーや言語モデルの再トレーニングなしに、ファインチューニング時に新しい知識エントリをメモリに挿入可能である。
• OPQLは外部記憶として言語モデル（OPQL-LM）に統合され、検索と推論を伴うエンドツーエンドの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 既存の構造化知識ベースからの監視を一切用いずに、テキストから仮想知識ベースを構築できるか？
• RQ2 OPQLは、テキストから抽出されたオープンボキャブラリーの自然言語関係に対して、効果的にマルチホップ推論をサポートできるか？
• RQ3 OPQLを外部記憶として統合することで、標準的な言語モデルと比較して、オープンドメイン質問応答タスクの性能が向上するか？
• RQ4 特に構成的推論のシナリオにおいて、トレーニング時に見られなかった関係に対してもOPQLは一般化可能か？
• RQ5 OPQL-LMは、パrameter数がはるかに多い大規模言語モデルと比較して、複雑な推論ベンチマークでどのように性能を癴すか？

主な発見

• OPQLは、はるかに少ない監視情報でさえも、2つのマルチホップ推論タスクで先行する最先端のVKB手法を上回る。
• OPQL-LMはWebQSPでHits@1 51.9、ComplexWebQで40.7を達成し、多数の大型言語モデルを上回り、後者では新たなSOTAを樹立した。
• OPQLメモリに追加の知識ペアを挿入することで、カバレッジが54.6%から82.9%に向上し、WebQSPにおける全体のHits@1精度が51.9%から53.7%に向上した。
• アブレーションスタディの結果、ヌル埋め込みを削除すると性能が著しく低下し、信頼性の高い検索におけるその重要性が示された。
• 構成的推論をサポートするOPQL-LMは、ComplexWebQデータセットで新たなSOTAを達成し、はるかに大きなテキスト対テキストモデルを上回った。
• 本手法は数百万エントリまでスケーリング可能であり、ヒューリスティックなトリプル検索メカニズムに依存せずに、効率的な検索と推論を可能にする。