[論文レビュー] LLM-based SPARQL Query Generation from Natural Language over Federated Knowledge Graphs

Vincent Emonet, Jerven Bolleman+3 more|arXiv (Cornell University)|Oct 8, 2024

Semantic Web and Ontologies被引用数 6

ひとこと要約

論文は、Retrieval-Augmented Generation (RAG) システムを提案します。生物情報学知識グラフ上で自然言語の質問を連携SPARQLクエリへ翻訳し、エンドポイントのメタデータと検証ステップを用いて幻覚を減らします。

ABSTRACT

We introduce a Retrieval-Augmented Generation (RAG) system for translating user questions into accurate federated SPARQL queries over bioinformatics knowledge graphs (KGs) leveraging Large Language Models (LLMs). To enhance accuracy and reduce hallucinations in query generation, our system utilises metadata from the KGs, including query examples and schema information, and incorporates a validation step to correct generated queries. The system is available online at chat.expasy.org.

研究の動機と目的

• 連邦型の生物情報KG（例：UniProt、Bgee、OMA）に対して自然言語からSPARQLクエリ生成を正確に行えるようにすること。
• エンドポイントメタデータと文脈情報を活用し、幻覚を減らしクエリの正確性を向上させること。
• 再訓練を要せずに進化するKGに適応できる、スケーラブルでデプロイしやすい解決策を提供すること。
• オンラインのデモと再利用可能なモジュールを提供し、他者がこのアプローチを採用できるようにすること。

提案手法

• エンドポイントメタデータ（例、VoID、shapes）を取得・インデックス化し、文脈対応のプロンプトを構築する。
• ユーザー質問と同様のクラスラベルや例の埋め込みをベクトルストアから生成し、プロンプト作成を補助する。
• ユーザー質問と retrieved examples およびスキーマ情報を組み合わせたプロンプトを構築し、SPARQL生成を誘導する。
• 生成された連携SPARQLクエリをエンドポイントVoIDスキーマに対して検証し、無効な述語やクラスを検出・修正する。
• 修正済みクエリと、それを支える文脈および類似性情報をユーザーへ返す。

Figure 1: LLM-based SPARQL Query Generator System Architecture.

実験結果

リサーチクエスチョン

• RQ1 LLMは、KGエンドポイントからの retrieval-augmented context を用いて自然言語クエリを連携SPARQLクエリへどれだけ有効に翻訳できるか。
• RQ2 エンドポイントスキーマに対する検証は、特に小型LLMで正確性を向上させ、幻覚を減らすか。
• RQ3 例示クエリやShEx derived from VoID のクラス形状を含めることが、クエリの正確性にどう影響するか。
• RQ4 異なるLLMやRAG設定ごとにシステムの性能はどのように変化するか。

主な発見

Model	Approach	Success	Different Result	No Result	Error	Price ($)	F1
gpt-4o	No RAG	3	0	36	0	0.00478	0.08
gpt-4o	RAG w/o validation	33	0	5	1	0.03707	0.85
gpt-4o	RAG w/ validation	34	3	1	1	0.04781	0.91
gpt-4o-mini	No RAG	0	0	9	30	0.00011	0.0
gpt-4o-mini	RAG w/o validation	13	7	18	1	0.00111	0.37
gpt-4o-mini	RAG w/ validation	11	18	9	1	0.0019	0.37
Mixtral 8x22B	No RAG	0	0	16	23	0.0007	0.0
Mixtral 8x22B	RAG w/o validation	6	11	20	2	0.01073	0.18
Mixtral 8x22B	RAG w/ validation	10	14	10	5	0.02147	0.31
Llama3.1 8B	No RAG	0	0	6	33	8e-05	0.0
Llama3.1 8B	RAG w/o validation	0	0	15	24	0.00144	0.0
Llama3.1 8B	RAG w/ validation	3	2	20	14	0.00405	0.08

• より大きなLLMは、RAG と併用した場合に全体的なクエリ正確性で小型モデルを上回る。
• 検証は小型LLMの正確性を顕著に改善し、無効な述語を修正し有効な代替案を提案する。
• RAG+検証の設定は、検証なしのベースラインと比べてF1スコアが高く、より多くの成功した結果を得る。
• このシステムはオープンソースのままであり、オンラインデモと他の生物情報KGへの展開に再利用可能なコンポーネントを提供する。