[論文レビュー] Faithful Embeddings for Knowledge Base Queries

Haitian Sun, Andrew O. Arnold+3 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 31被引用数 21

ひとこと要約

本論文は、論理的含意される答えに対して正しく対応するよう保証するため、ニューラル検索とカウントミンスケッチを組み合わせることで、不完全な知識ベースにおける論理的推論を向上させる忠実なクエリ埋め込み手法EmQLを提案する。Query2Boxなどの先行手法に比べ、忠実性が向上し、ニューラル質問応答システムにおける性能も向上し、MetaQAおよびWebQuestionsSPベンチマークで最先端の結果を達成する。

ABSTRACT

The deductive closure of an ideal knowledge base (KB) contains exactly the logical queries that the KB can answer. However, in practice KBs are both incomplete and over-specified, failing to answer some queries that have real-world answers. \emph{Query embedding} (QE) techniques have been recently proposed where KB entities and KB queries are represented jointly in an embedding space, supporting relaxation and generalization in KB inference. However, experiments in this paper show that QE systems may disagree with deductive reasoning on answers that do not require generalization or relaxation. We address this problem with a novel QE method that is more faithful to deductive reasoning, and show that this leads to better performance on complex queries to incomplete KBs. Finally we show that inserting this new QE module into a neural question-answering system leads to substantial improvements over the state-of-the-art.

研究の動機と目的

• 既存のクエリ埋め込み（QE）システムに見られる論理的忠実性の欠如に取り組むこと。特に、知識ベース（KB）に論理的に含意される答えを正しく取得できないことが問題である。
• 前提が明示的に存在する際の演繹的推論を保持するQE手法を開発し、論理的に含意されるクエリに対して正しく対応することを保証すること。
• 忠実なQEモジュールをニューラル質問応答（KBQA）システムに統合し、下流タスクの性能を向上させること。
• QEにおける忠実性が、現実世界のKBQAベンチマークで測定可能な性能向上をもたらすことを示すこと。

提案手法

• EmQLはハイブリッドアプローチを採用する。一般化のための埋め込み空間内での幾何演算と、論理的推論のための埋め込みKBトリプル上でのニューラル検索を併用する。
• 論理的に含意される答えのスコアを高い確率で伝搬するために、カウントミンスケッチデータ構造を用いる。これにより忠実性が保証される。
• 積集合、和集合、関係フィルタリングを含む集合演算をサポートし、エンティティ集合のセンタロイドスケッチ表現を採用する。
• 微分可能でコンactでスケーラブルなアーキテクチャを導入し、一般化を目的としてスケッチを効果的に削除しつつ、推論における忠実性を維持できる。
• モジュラー設計により、完全な再トレーニングを必要とせず、エンドツーエンドのKBQAパイプラインに容易に統合できる。
• スパース行列演算に依存しない再トレーニング済みのKB埋め込みモデルを用いることで、推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 クエリ埋め込みシステムを論理的に忠実にできるか。特に、知識ベースに論理的に含意される答えを正しく取得できるか。
• RQ2 ニューラル検索とスケッチベースのスコア伝搬を組み合わせることで、純粋な幾何的QE手法に比べ、忠実性が向上するか。
• RQ3 忠実なQEモジュールが、ニューラルKB質問応答システムにおける性能を顕著に向上させられるか。
• RQ4 不完全なKBにおいて、複雑で構成的なクエリに対して、QEにおける忠実性が下流タスクの性能にどのように影響するか。

主な発見

• EmQLは、論理的に含意される答えにおいてQuery2Boxを著しく上回り、推論における優れた忠実性を示している。
• MetaQAおよびWebQuestionsSPベンチマークにおいて、EmQLをKBQAシステムに統合することで、Hits@1で二桁台の向上が達成され、新たな最先端性能を記録した。
• 一般化を要する複雑なクエリにおいても高い性能を維持しており、従来のQE手法の利点を保ちつつ、忠実性を追加していることが示された。
• カウントミンスケッチの使用により、論理的に含意される答えのスコアを高い確率で忠実に伝搬でき、論理的整合性を確保する実用的なメカニズムを提供した。
• スケッチ部品を戦略的に削除することで、EmQLは効果的な一般化が可能となり、忠実性と一般化能力のバランスを取れるようになった。
• 本研究は、KBQAパイプラインにQEシステムをニューラルモジュールとして成功裏に統合した初の試みであり、実世界の応用における実用的価値を示した。