[論文レビュー] LLM-assisted Knowledge Graph Engineering: Experiments with ChatGPT

Lars‐Peter Meyer, Claus Stadler+7 more|arXiv (Cornell University)|Jul 13, 2023

Semantic Web and Ontologies参考文献 5被引用数 7

ひとこと要約

本論文は、チャットGPTを知識グラフ工学（KGE）の支援に活用する方法を調査し、自然言語からSPARQLクエリを生成し、RDF知識グラフの図を描画し、オントロジー開発を支援する能力を示している。主な結果として、チャットGPTは文法的に正しいかつ意味的に妥当な出力を生成するが、頻繁に幻覚を起こすことが判明し、検証が不可欠であり、科学的厳密性を確保するためには再現可能でオープンソースの代替手法の必要性が浮き彫りになった。

ABSTRACT

Knowledge Graphs (KG) provide us with a structured, flexible, transparent, cross-system, and collaborative way of organizing our knowledge and data across various domains in society and industrial as well as scientific disciplines. KGs surpass any other form of representation in terms of effectiveness. However, Knowledge Graph Engineering (KGE) requires in-depth experiences of graph structures, web technologies, existing models and vocabularies, rule sets, logic, as well as best practices. It also demands a significant amount of work. Considering the advancements in large language models (LLMs) and their interfaces and applications in recent years, we have conducted comprehensive experiments with ChatGPT to explore its potential in supporting KGE. In this paper, we present a selection of these experiments and their results to demonstrate how ChatGPT can assist us in the development and management of KGs.

研究の動機と目的

• 大規模言語モデル（LLM）のうち特にチャットGPTが知識グラフ工学タスクを支援する可能性を評価すること。
• KGEにおける高い作業負荷と専門知識依存の問題を、LLMによる自動化の観点から解決すること。
• 知識グラフの構築およびクエリ作成における人的作業を削減できる実用的ユースケースを同定すること。
• 構造的知識表現タスクにおけるLLM出力の信頼性と正確性を評価すること。
• 幻覚や閉鎖型モデルによる再現性の欠如といった課題を浮き彫りにすること。

提案手法

• 自然言語による質問からSPARQLクエリを生成するために、ChatGPT-3.5を用いた実験を実施した。
• プロンプト工学を用いて、MermaidおよびTurtle構文によるRDF知識グラフ図を生成した。
• 文法的正しさ、意味的整合性、RDF/OWL規格への準拠性に基づいて出力を評価した。
• 繰り返しプロンプトを適用して結果を改善し、プレフィックスの追加や誤りの是正を実施した。
• DBpediaなどの既知の知識グラフに対して、生成されたSPARQLクエリを検証した。
• ノード数・エッジ数、ラベルの一貫性、rdfs:subClassOf や rdfs:subPropertyOf などの標準的関係の使用を測定することで、図の品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 チャットGPTは、自然言語による質問から意味的に正しいかつ文法的に正しいSPARQLクエリを生成できるか？
• RQ2 チャットGPTは、テキスト記述から正確で標準化されたRDF知識グラフ図をどの程度正確に生成できるか？
• RQ3 LLM出力は知識グラフスキーマ設計においてどの程度信頼できるのか？また、一般的に発生する誤り（例：幻覚）の種別は何か？
• RQ4 繰り返しプロンプトは、LLMが生成する知識グラフアセットの品質および正しさを向上させることができるか？
• RQ5 チャットGPTのような閉鎖型LLMを、知識グラフ工学分野の科学的研究に使用する上での制限は何か？

主な発見

• チャットGPTは、クエリ実行による検証を通じて、文法的に正しいかつターゲット知識グラフと意味的に整合するSPARQLクエリを生成した。
• モデルは、rdfs:subClassOf を用いた階層的RDF図を生成し、10ノード・12エッジで構成され、プレフィックスが正しくラベル付けされ、OWL/Schema規約に準拠していた。
• 2回目のプロンプト実行では、13ノード・17エッジのMermaid図を生成し、エッジが完全に一意で、ラベルが一貫していたが、1つの概念（dbo:Occupation）は存在しなかった。
• モデルは、コンpetency questionをSPARQLクエリに変換する能力と、知識グラフ構造を効果的に要約する能力を示した。
• 強力なパフォーマンスを発揮したが、非存在の概念を創作したり関係を誤って表現したりする幻覚を示したため、手動での検証が不可欠であった。
• チャットGPTの閉鎖型アーキテクチャは再現性を制限し、科学的吟味を困難にしているため、今後の研究ではオープンウェイトおよびオープンデータのLLMの導入が強く求められる。