[論文レビュー] Question Answering over Knowledge Graphs with Neural Machine Translation and Entity Linking

Daniel Diomedi, Aidan Hogan|arXiv (Cornell University)|Jul 6, 2021

Topic Modeling被引用数 10

ひとこと要約

この論文では、神経機械翻訳（NMT）を用いたクエリテンプレート生成、エンティティリンク（EL）を用いた正確なエンティティ同定、およびスロットフィリング（SF）を用いたテンプレートインスタンス化を組み合わせるハイブリッドアプローチ、ElNeuQAを提案する。エンティティ解決をクエリ生成から分離することで、純粋なNMTモデルと比較してエンティティ関連の誤りを顕著に低減し、見過ごされたクエリテンプレートに依存し続けるにもかかわらず、Wikidata QAタスクで優れた性能を達成している。

ABSTRACT

The goal of Question Answering over Knowledge Graphs (KGQA) is to find answers for natural language questions over a knowledge graph. Recent KGQA approaches adopt a neural machine translation (NMT) approach, where the natural language question is translated into a structured query language. However, NMT suffers from the out-of-vocabulary problem, where terms in a question may not have been seen during training, impeding their translation. This issue is particularly problematic for the millions of entities that large knowledge graphs describe. We rather propose a KGQA approach that delegates the processing of entities to entity linking (EL) systems. NMT is then used to create a query template with placeholders that are filled by entities identified in an EL phase. Slot filling is used to decide which entity fills which placeholder. Experiments for QA over Wikidata show that our approach outperforms pure NMT: while there remains a strong dependence on having seen similar query templates during training, errors relating to entities are greatly reduced.

研究の動機と目的

• 知識グラフ質問応答（KGQA）における神経機械翻訳（NMT）の未知語問題、特にまれまたは未学習のエンティティに対して対処すること。
• 純粋なNMTベースのシステムで、誤ったまたは欠落したエンティティ翻訳が原因で生じるKGQAの誤りを低減すること。
• エンティティリンクをクエリ生成から分離することで、自然言語の質問からSPARQLクエリを生成する際の耐性と正確性を向上させること。
• NMT、エンティティリンク、スロットフィリングを組み合わせたモジュラーなパイプラインが、複雑なKGQAタスクにおいて効果的であるかどうかを評価すること。
• エンティティがNMTのクエリテンプレートのフィリング前に専用のリンクシステムを介して解決されることで、エンティティ関連の誤りが顕著に低減することを示すこと。

提案手法

• システムは、具体的なエンティティの代わりに一般化されたプレースホルダー（例：<obj1>、<subj1>）を用いたクエリテンプレートをNMTで生成することで、未知語問題のリスクを低減する。
• エンティティリンク（EL）は、4つのシステム（AIDA、DBpedia Spotlight、OpenTapioca、TagME）のアンサンブルを用い、投票とスコアリングにより各表記のエンティティ候補をランク付けする。
• 文脈的埋め込み（GloVeとFlair）を用いたBiLSTM-CRFモデルを用いて、質問内のフレーズの役割（例：主語、目的語）を順序ラベリングで特定する。
• スロットフィリング（SF）は、NMTで生成されたテンプレート内のプレースホルダーを、ELの結果に一致させることで特定のエンティティにマッピングする。重複するエンティティの衝突を解消するためにエンティティランクを用いる。
• フォールバックとしてフォースフィリング戦略を適用する：重複する表記、役割ベースのマッチング、逐次的フィリングを用いて、プレースホルダーの完成度を最大化する。
• パイプラインはLC-QuAD 2.0と、Goldスタンダードのエンティティアノテーションを備えた新規のWikidataQAデータセットで学習・評価される。

実験結果

リサーチクエスチョン

• RQ1 エンティティ解決をクエリ生成から分離することで、NMTベースのKGQAシステムにおけるエンティティ関連の誤りを低減できるか？
• RQ2 NMT-EL-SFハイブリッドアプローチの性能は、純粋なNMTモデルと比較して、Wikidataの正確なSPARQLクエリ生成においてどう異なるか？
• RQ3 エンティティリンクの使用が、KGQAにおける未知語問題の緩和にどの程度寄与するか？
• RQ4 エンティティランク付けとフォールバック戦略の影響は、クエリ生成の耐性にどのような影響を及けるか？
• RQ5 NMT、EL、SFのモジュラー設計は、未学習または複雑な質問テンプレートにおける一般化性能を向上させるか？

主な発見

• 提案されたElNeuQAアプローチは、Wikidata QAにおいて、最先端の純粋なNMTベースラインを上回り、特にエンティティ関連の誤りを低減している。
• 訓練時に既知のクエリテンプレートに強く依存しているにもかかわらず、未学習または誤って同定されたエンティティに起因する誤りが顕著に低減されている。
• エンティティリンクの使用により、NMT学習時に登場しなかったまれまたは曖昧なエンティティの正確なエンティティマッピングが顕著に向上している。
• 投票とスコアリング機構を備えたアンサンブルELシステムは、エンティティ候補のランク付けを強化し、その後続のスロットフィリング性能を向上させている。
• フォースフィリング戦略は、欠落または誤分類されたエンティティ表記からの回復に効果的に機能し、全体のクエリの完全性を向上させている。
• 結果から、NMT、EL、SFのモジュラー統合は、エンドツーエンドのNMT単体よりも信頼性が高く正確性の高いKGQAパイプラインを実現していることが示された。