[論文レビュー] Semantic Structure based Query Graph Prediction for Question Answering over Knowledge Graph

Mingchen Li, Jonathan Shihao Ji|arXiv (Cornell University)|Apr 15, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、知識グラフ質問応答における照合グラフ予測のための意味構造ベースのフレームワーク、SSKGQAを提案する。構造BERTモデルを導入して質問を6つの事前に定義された意味構造に分類することで、SSKGQAは従来の列挙手法による高ノイズな候補照合グラフを事前にフィルタリングし、残りのグラフをBERTベースのランク付けモデルで順序付けすることで、MetaQAおよびWebQuestionsSPベンチマークで最先端の性能を達成した。

ABSTRACT

Building query graphs from natural language questions is an important step in complex question answering over knowledge graph (Complex KGQA). In general, a question can be correctly answered if its query graph is built correctly and the right answer is then retrieved by issuing the query graph against the KG. Therefore, this paper focuses on query graph generation from natural language questions. Existing approaches for query graph generation ignore the semantic structure of a question, resulting in a large number of noisy query graph candidates that undermine prediction accuracies. In this paper, we define six semantic structures from common questions in KGQA and develop a novel Structure-BERT to predict the semantic structure of a question. By doing so, we can first filter out noisy candidate query graphs, and then rank the remaining candidates with a BERT-based ranking model. Extensive experiments on two popular benchmarks MetaQA and WebQuestionsSP (WSP) demonstrate the effectiveness of our method as compared to state-of-the-arts.

研究の動機と目的

• 複雑なKGQAにおける従来の列挙手法による高ノイズな候補照合グラフの問題に対処すること。
• 自然言語質問からの意味構造情報を活用して照合グラフ予測の正確性を向上させること。
• マルチホップおよび制約付き推論における誤り伝搬を、パイプラインの初期段階で構造的に誤りのある照合グラフをフィルタリングすることで低減すること。
• 事前学習済みBERT表現の上にマルチヘッドアテンション層を追加したBERTベースのモデルを用いて、質問と候補照合グラフの表現を比較するためのトリプレット損失を適用し、ランク付け性能を向上させること。
• KGQAにおける質問の意味構造分類のスケーラブルで正確な手法を開発すること。

提案手法

• MetaQAベンチマークにおける一般的な質問トポロジーに基づき、マルチホップや制約付き推論を含む6つの意味構造を定義する。
• 質問とトピックエンティティを同時にエンコードするBERTベースの分類器「Structure-BERT」を提案し、意味構造を予測する。
• 予測された意味構造を用いて、期待される構造と一致しない候補照合グラフをフィルタリングする。
• 質問と候補照合グラフの表現を比較するためのトリプレット損失を用いたBERTベースのランク付けモデルを適用し、最終的な順序付けを行う。
• 入力シーケンス内の意味的関係をよりよく捉えるために、BERT表現に追加のマルチヘッドアテンション層を統合する。
• 負例サンプリングとトリプレット損失を用いて訓練することで、関連する質問-照合グラフペア間の類似度学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 意味構造予測は、KGQAにおけるノイズの多い候補照合グラフの数を顕著に削減できるか？
• RQ2 質問とトピックエンティティを統合的にエンコードするBERTベースのモデルは、意味構造分類において効果的か？
• RQ3 予測された意味構造に基づいた候補照合グラフのフィルタリングは、下流のランク付け精度を向上させるか？
• RQ4 追加のアテンション層を備えたBERTベースのランク付けモデルは、標準のBERTおよび従来のモデル（CNNやBiGRU）を上回るか？
• RQ5 提案手法は、MetaQAやWebQuestionsSPのようなベンチマークにおける多様な質問タイプにどの程度一般化可能か？

主な発見

• MetaQAにおいて、Structure-BERTはホップ1、ホップ2、ホップ3の質問に対して、それぞれ99.24%、99.87%、99.73%の分類精度を達成した。
• WebQuestionsSPベンチマークでは、86.97%の精度を達成し、クラス不均衡やデータ不足にもかかわらず強力な一般化性能を示した。
• 追加のマルチヘッドアテンション層を備えたBERTベースのランク付けモデル（BERT*）は、WebQuestionsSPで71.40%のHits@1を達成し、標準のBERTおよび他のベースラインを上回った。
• 提案されたSSKGQAフレームワークは、MetaQAおよびWebQuestionsSPの両ベンチマークで最先端の性能を達成し、7つのSOTA手法を上回った。
• アブレーションスタディの結果、追加のアテンション層と負例サンプリング戦略がランク付け性能の向上に顕著に寄与することが確認された。
• 構造的に誤りのある候補が存在する状況でも、正しいグラフの順位付けが向上していることから、構造的に誤った候補の影響が軽減されたことが裏付けられた。