[論文レビュー] Using Large Language Models for OntoClean-based Ontology Refinement

Yihang Zhao, Neil Vetter+1 more|arXiv (Cornell University)|Mar 23, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

本稿では、GPT-4 などの大規模言語モデル（LLM）を用いて、OntoClean手法を介してオントロジーの精錬プロセスを自動化することを提案する。具体的には、剛性（Rigidity）、同一性（Identity）、統一性（Unity）といった形而上的なメタプロパティをクラスにラベル付ける。階層的オントロジー表現を用いたコンテキスト内学習プロンプトにより、GPT-4 は全メタプロパティで95％を超える正確性を達成し、専用プラグインを介してLLMをオントロジーツールに統合する可能性が強く示された。

ABSTRACT

This paper explores the integration of Large Language Models (LLMs) such as GPT-3.5 and GPT-4 into the ontology refinement process, specifically focusing on the OntoClean methodology. OntoClean, critical for assessing the metaphysical quality of ontologies, involves a two-step process of assigning meta-properties to classes and verifying a set of constraints. Manually conducting the first step proves difficult in practice, due to the need for philosophical expertise and lack of consensus among ontologists. By employing LLMs with two prompting strategies, the study demonstrates that high accuracy in the labelling process can be achieved. The findings suggest the potential for LLMs to enhance ontology refinement, proposing the development of plugin software for ontology tools to facilitate this integration.

研究の動機と目的

• OntoClean手法による手動のオントロジーリファインメントの課題に対処すること。この手法は哲学的専門知識を要し、合意が得られていない。
• 大規模言語モデル（LLM）がオントロジークラスにOntoCleanメタプロパティを自動割り当てできるかどうかを調査すること。
• このタスクにおける、ゼロショットとコンテキスト内学習の2つのプロンプティング戦略の有効性を評価すること。
• GPT-3.5とGPT-4の性能を、フラット表現と階層的表現の両方で比較すること。
• ProtégéなどのオントロジーツールにLLMを統合するためのプラグインベースのアプローチを提案し、人間が関与するスケーラブルなオントロジーリファインメントワークフローを実現すること。

提案手法

• 本研究では、ゼロショットの「ベーシック」プロンプトと、OntoCleanメタプロパティの定義を含むコンテキスト内学習プロンプトの2つの戦略を採用した。
• オントロジー入力は、フラット（エンティティのリストとして）と階層的（オントロジーのグラフのスパニングツリーから導出されたインデント付きツリーとして）の両方で表現された。
• LLMは、提供された定義と構造に基づき、オントロジー内の各クラスに対して関連するすべてのOntoCleanメタプロパティをラベル付けするようにプロンプトされた。
• 実験は、上位オントロジーとミニピザオントロジーという2つのベンチマークオントロジーを用いて実施された。
• 各設定で30回の試行を行い、モデル、プロンプティングタイプ、表現スタイルごとに結果を集約・比較した。
• 階層的表現は意味のある結果を得るために不可欠であることが判明したが、フラット表現は構造的依存関係が欠落していたため、最終分析から除外された。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、最小限のプロンプトで、オントロジークラスにOntoCleanメタプロパティを正確に割り当てることができるか？
• RQ2 コンテキスト内学習は、ゼロショットプロンプティングに比べて、LLMのオントロジーのメタプロパティラベル付けの正確性を向上させるか？
• RQ3 LLMの選定（GPT-3.5 対 GPT-4）が、形而上的プロパティのラベル付けの性能に顕著な影響を与えるか？
• RQ4 フラット表現と階層的表現のどちらが、LLMによるラベルの信頼性に影響を与えるか？
• RQ5 抽象的で哲学的思考を要する概念、たとえば統一性（Unity）や同一性（Identity）を、LLMがどの程度適切に処理できるか？

主な発見

• GPT-4 はコンテキスト内学習を用いることで、全OntoCleanメタプロパティで約4％の不正確率を示し、95％を超える正確性を達成した。
• GPT-3.5 は、ゼロショット設定で同一性（Identity）と統一性（Unity）で60–70％、剛性（Rigidity）と依存性（Dependence）で35–40％の不正確率を示し、不十分な性能であった。
• コンテキスト内学習により、GPT-3.5 の剛性（Rigidity）と依存性（Dependence）の性能が向上し、不正確率が25–30％に低下したが、統一性（Unity）には顕著な効果が認められなかった。
• フラットオントロジー表現は、構造的文脈が欠落していたため、使用不可能な結果を生じ、最終分析から除外された。
• GPT-4 は統一性（Unity）についてもコンテキスト内学習によって性能が向上しなかった。これは、OntoCleanに含まれる抽象的で古く、定義が曖昧な記述がモデルの解釈を妨げている可能性を示唆している。
• これらの結果は、特に高精度で人間が関与するワークフローを想定した場合、LLMをオントロジーツールにプラグイン形式で統合する可能性を支持する。