[論文レビュー] Leveraging LLMs in Scholarly Knowledge Graph Question Answering

Tilahun Abedissa Taffa, Ricardo Usbeck|Multilingual Matters (Channel View Publications)|Nov 16, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、Bertベースの文書エンコーダーを用いて類似する訓練質問とそのSPARQLクエリを検索し、それをFew-shot例として提示することで、大規模言語モデル（Vicuna-13B）にSPARQL生成を促す、学術的知識グラフ質問応答（KGQA）のためのFew-shotプロンプティング手法を提示する。本システムは、Scholarly-QALD-23チャレンジのSciQAベンチマークで99.0%のF1スコアを達成し、2位となった。

ABSTRACT

This paper presents a scholarly Knowledge Graph Question Answering (KGQA) that answers bibliographic natural language questions by leveraging a large language model (LLM) in a few-shot manner. The model initially identifies the top-n similar training questions related to a given test question via a BERT-based sentence encoder and retrieves their corresponding SPARQL. Using the top-n similar question-SPARQL pairs as an example and the test question creates a prompt. Then pass the prompt to the LLM and generate a SPARQL. Finally, runs the SPARQL against the underlying KG - ORKG (Open Research KG) endpoint and returns an answer. Our system achieves an F1 score of 99.0%, on SciQA - one of the Scholarly-QALD-23 challenge benchmarks.

研究の動機と目的

• 注釈付き学術的KGQAデータの不足に応じて、大規模言語モデルを用いたFew-shotプロンプティングを活用すること。
• 意味的類似度とLLMのコンテキスト内学習を組み合わせることで、学術的知識グラフのSPARQLクエリ生成を改善すること。
• ORKGの学術的メタデータに一般化可能な、ゼロプレトレーニングのKGQAパイプラインを構築すること。
• One-shot、Three-shot、Five-shotプロンプティングがSPARQL生成の正確性に与える影響を評価すること。
• Scholarly-QALD-23チャレンジのSciQAベンチマークで上位システムにランクインすること。

提案手法

• テスト質問と訓練質問の間の意味的類似度を計算するために、Bertベースの文書エンコーダーが用いられ、類似度の高い上位n件の例を検索する。
• 上位n件の検索結果（質問-SPARQLペア）がテスト質問と組み合わされ、LLMのプロンプトとして使用される。
• LLM（Vicuna-13B）が、検索された例とテスト質問に基づいてFew-shot設定でSPARQLクエリを生成するようにプロンプトされる。
• 生成されたSPARQLクエリは、ORKGのSPARQLエンドポイントに対して実行され、答えが取得される。
• LLMがURIを記憶する必要を減らすために、テンプレートベースのSPARQL生成が用いられ、代わりにプレフィックスベースの識別子（例：orkgc、orkgp）に依存する。
• F1スコアを主な指標として用い、パイプラインはScholarly-QALD-23チャレンジのSciQAベンチマークで評価される。

Figure 1: SPARQL queries generated by ChatGPT 3.5 in a zero-shot manner for querying Wikidata (left) and ORKG (right).

実験結果

リサーチクエスチョン

• RQ1 限られた訓練データで学術的知識グラフに対して正しくSPARQLクエリを生成できるか、大規模言語モデルを用いたFew-shotプロンプティングが有効であるか。
• RQ2 Few-shot例の数（1、3、5）が学術的KGQA環境下でのSPARQL生成の正確性に与える影響はいかほどか。
• RQ3 BERTを用いた意味的類似度検索が、SPARQL生成のためのFew-shot LLMプロンプティングにどれほど向上効果をもたらすか。
• RQ4 学術的KG（例：ORKG）に適用されたLLM生成SPARQLクエリにおける主なエラー種別は何か。
• RQ5 現実の学術的質問に対して、本システムはScholarly-QALD-23チャレンジの既存のベースラインと比較してどの程度の性能を示すか。

主な発見

• 本システムは、SciQAテストセットで99.0%のF1スコアを達成し、Scholarly-QALD-23チャレンジのリーダーボードで2位となった。
• Three-shotおよびFive-shotプロンプティング設定では、それぞれ23および25件のnullシステム回答が発生したが、そのうち7件ずつが文法的エラーに起因した。
• 括弧の閉じ忘れや誤った句読点の使用といった文法的エラーが、主な失敗要因であり、devセットでThree-shotおよびFive-shot両設定で7件のSPARQLに影響を与えた。
• キーワードマッチングエラーは、LLMが文字列リテラルにおける正確な空白や大文字・小文字を保持できなかった場合に発生し、null結果を引き起こした。
• 複雑な質問を誤解したことが原因で、正しくないエンティティをターゲットにしたり、MAX()などの重要な演算子を省略したりする誤ったSPARQLが生成された。
• ゴールがnullである質問が14件存在し、これらはすべてのプロンプティング設定でnullシステム回答を引き起こした。

Figure 2: The Scholarly KGQA model.