[論文レビュー] Question Answering over Knowledge Graphs via Structural Query Patterns

Weiguo Zheng, Mei Zhang|arXiv (Cornell University)|Oct 22, 2019

Semantic Web and Ontologies参考文献 22被引用数 7

ひとこと要約

本論文は、構造的クエリパターン（SQPs）を用いた知識グラフ上の質問応答のための新規フレームワークを提案する。SQPsは自然言語の質問からクエリグラフを構築するのをガイドする。クエリスケッチを生成し、SQPに従ってノードとエッジをラベル付けすることで、ベンチマークデータセット上で最先端の性能を達成し、従来の意味解析およびテンプレートベースの手法を上回る。

ABSTRACT

Natural language question answering over knowledge graphs is an important and interesting task as it enables common users to gain accurate answers in an easy and intuitive manner. However, it remains a challenge to bridge the gap between unstructured questions and structured knowledge graphs. To address the problem, a natural discipline is building a structured query to represent the input question. Searching the structured query over the knowledge graph can produce answers to the question. Distinct from the existing methods that are based on semantic parsing or templates, we propose an effective approach powered by a novel notion, structural query pattern, in this paper. Given an input question, we first generate its query sketch that is compatible with the underlying structure of the knowledge graph. Then, we complete the query graph by labeling the nodes and edges under the guidance of the structural query pattern. Finally, answers can be retrieved by executing the constructed query graph over the knowledge graph. Evaluations on three question answering benchmarks show that our proposed approach outperforms state-of-the-art methods significantly.

研究の動機と目的

• 非構造的な自然言語の質問と構造的な知識グラフの間を橋渡しする課題に対処すること。
• 意味解析（例：高コストなアノテーション、構造的不一致）およびテンプレートベース手法（例：カバー範囲の制限、スケーラビリティの低さ）の限界を克服すること。
• クエリの意図を捉える表現を設計し、知識グラフの構造に容易に対応させること。
• スケーラブルな質問応答システムのための高い完全性と低コストな構築を保証すること。

提案手法

• 完全な論理形式のパースを必要とせず、質問の構造的意図を捉える新しい表現として構造的クエリパターン（SQPs）を導入する。
• 知識グラフのスキーマおよびトポロジーに一致するように、入力された質問からクエリスケッチを生成する。
• SQPのガイドに従ってノードとエッジをラベル付けすることで、知識グラフと構造的に整合性を持つクエリグラフを完成させる。
• 与えられた質問に対して最も関連性の高いSQPを予測するため、アンサンブルモデル（RNN-Attention + Text-CNN）を適用する。
• 制約の拡張を用いて最終的なクエリグラフを精緻化し、回答の正確性を向上させる。
• 実証的評価により安定した性能が得られたことから、返されるSQPの数（k）を2に設定する。

実験結果

リサーチクエスチョン

• RQ1 構造的クエリパターンは、解釈可能でかつ知識グラフに根ざした形で、自然言語の質問の構造的意図を効果的に表現できるか？
• RQ2 提案されたSQPベースの手法は、従来の意味解析およびテンプレートベースの手法と比較して、知識グラフの質問応答においてどの程度優れた性能を示すか？
• RQ3 エンティティリンクとSQP予測の誤りが、全体のシステム正確性にどの程度影響を与えるか？
• RQ4 クエリグラフ構築において最適な候補SQPの数（k）はいくつか？

主な発見

• 提案手法qaSQPは、LC-QuADでF1スコア0.463を達成し、STAGGやテンプレートベースのシステムを含むすべてのベースライン手法を上回った。
• SQP予測のためのアンサンブルモデルは、QALD-8でF1スコア0.84、QALD-9で0.82を達成し、個々のモデル（RNN-AttentionおよびText-CNN）を上回った。
• 正しい構造的クエリパターンを提供した場合（qaSQP-CP）はわずかな改善にとどまり、システムのSQP予測がすでに極めて正確であることを示している。
• 正しいエンティティリンク（qaSQP-CE）は、qaSQP-CPよりも顕著に性能を向上させたことから、エンティティリンクがSQP認識よりも主なボトルネックであると示唆された。
• k=2またはk=3のとき、システムの性能は安定化し、精度と再現率のバランスを最適化するため、デフォルト設定としてk=2を採用した。
• エラーの17%はクエリグラフ拡張時の誤ったラベル割り当てに起因し、29%はエンティティリンクの失敗に起因しており、今後の改善の鍵となる分野であることが浮き彫りになった。