[論文レビュー] Bio-SODA: Enabling Natural Language Question Answering over Knowledge Graphs without Training Data

Ana Claudia Sima, Tarcisio Mendes de Farias+5 more|arXiv (Cornell University)|Apr 28, 2021

Semantic Web and Ontologies参考文献 33被引用数 16

ひとこと要約

Bio-SODA は、ノード中心性を組み込んだ新しいランク付けアルゴリズムを用い、グラフベースのマッチングアプローチで SPARQL クエリを生成する、トレーニング不要の自然言語質問応答システムである。生体情報学や欧州連合（EU）プロジェクトのデータセットを含む複雑な科学的知識グラフにおいて、ラベル付き質問-回答ペairが不要な状態で、最先端のシステムよりも F1 スコアが 20% 高い結果を達成した。

ABSTRACT

The problem of natural language processing over structured data has become a growing research field, both within the relational database and the Semantic Web community, with significant efforts involved in question answering over knowledge graphs (KGQA). However, many of these approaches are either specifically targeted at open-domain question answering using DBpedia, or require large training datasets to translate a natural language question to SPARQL in order to query the knowledge graph. Hence, these approaches often cannot be applied directly to complex scientific datasets where no prior training data is available. In this paper, we focus on the challenges of natural language processing over knowledge graphs of scientific datasets. In particular, we introduce Bio-SODA, a natural language processing engine that does not require training data in the form of question-answer pairs for generating SPARQL queries. Bio-SODA uses a generic graph-based approach for translating user questions to a ranked list of SPARQL candidate queries. Furthermore, Bio-SODA uses a novel ranking algorithm that includes node centrality as a measure of relevance for selecting the best SPARQL candidate query. Our experiments with real-world datasets across several scientific domains, including the official bioinformatics Question Answering over Linked Data (QALD) challenge, show that Bio-SODA outperforms publicly available KGQA systems by an F1-score of least 20% and by an even higher factor on more complex bioinformatics datasets.

研究の動機と目的

• 既存のニューラル KGQA システムの適用を制限する、科学的知識グラフにおけるトレーニングデータの不足に対処すること。
• ラベル付き質問-回答ペアを必要とせず、複雑で現実世界の科学的知識グラフにおいて正確なゼロショット質問応答を可能にすること。
• 文字列類似度、意味的類似度、ノード中心性を組み合わせることで、より良い候補ランク付けを実現する SPARQL クエリ生成の改善。
• 最小限の手動設定で高い拡張性を備え、多様な科学的分野への一般化を可能にすること。
• 概念マッチング、クエリ構築、結果解釈の各段階をガイドすることで、説明可能性を向上させること。

提案手法

• Bio-SODA は、自然言語の質問を知識グラフのエンティティおよび関係にグラフベースでマッチングさせ、これらのマッチング結果から候補となる SPARQL クエリを構築する。
• 質問語句と KG 要素との間で、文字レベルと意味的類似度を組み合わせたハイブリッド類似度測定を適用する。
• ノード中心性（例：PageRank）を関連性信号として組み込んだ、新しいランク付けアルゴリズムを導入し、意味的に妥当なクエリ候補を優先する。
• ラベルや説明などのプロパティを指定して検索をカスタマイズ可能であり、完全な要約など冗長なフィールドは除外できる。
• ユーザーのガイダンスや事前学習モデルを必要とせず、最大 10 個以上の三項パターンを含む複雑なクエリを処理できる。
• エンティティリンクとクエリグラフ構築のパイプラインを含み、説明可能性を高めるために意味のある変数名を用いて結果を投影する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータが存在しない状態でも、複雑な科学的知識グラフにおいて高い性能を達成できる KGQA システムは実現可能か？
• RQ2 ノード中心性は、自然言語質問に対する SPARQL クエリ候補のランク付けにおいて、関連性信号としてどれほど有効か？
• RQ3 グラフベースでニューラルではないアプローチは、現実世界の科学的データセットにおいて、既存のニューラル KGQA システムをどれほど上回れるか？
• RQ4 正確でないまたは冗長なラベルを含む科学的 KG における曖昧さや冗長性は、どのように処理されるか？
• RQ5 最小限の設定で多様な科学的分野に一般化できるか？

主な発見

• Bio-SODA は、実世界の科学的知識グラフにおいて、公開済みの KGQA システムよりも最小でも F1 スコアが 20% 向上しており、特に複雑なバイオインフォマティクスデータセットではより顕著な向上が見られた。
• ノード中心性をランク関数に統合することで、ラベルの冗長性や用語の曖昧さが顕著なデータセットにおいても、結果の質が著しく向上した。
• 最大 10 個以上の三項パターンを含む複雑なクエリを、単純な 2 つや 3 つの三項クエリを超えて、安定して処理できることを示した。
• QALD-4 および CORDIS データセットにおいて、深層学習に基づく既存のオープンソースシステムでさえも、トレーニングデータが一切ないにもかかわらず、Bio-SODA が上回った。
• 最小限の設定で、医療・生物学、遺伝子相同性、EU 資金支援プロジェクトの知識グラフなど、多様な分野にわたって強力な一般化性能を示した。
• 制限事項として、ASK クエリの処理が不適切（真偽値ではなく結果を返す）であることが判明しており、今後の拡張として質問タイプ分類器の導入を著者らが指摘している。