[論文レビュー] Agent-OM: Leveraging LLM Agents for Ontology Matching

Zhangcheng Qiang, Weiqing Wang+1 more|arXiv (Cornell University)|Dec 1, 2023

Semantic Web and Ontologies被引用数 4

ひとこと要約

本稿では、二つのプロンプトベースのツールを備えたシアンズ型エージェントを用いてリtrievalとマッチングを強化する、LLMに基づく新しいオントロジー照合フレームワーク、Agent-OMを提案する。微調整を一切行わずに、チェーン・オブ・チョイスの推論、リtrieval増強生成、およびコンテキスト内学習を活用することで、複雑で少データのオントロジー照合タスクにおいて最先端の性能を達成する。

ABSTRACT

Ontology matching (OM) enables semantic interoperability between different ontologies and resolves their conceptual heterogeneity by aligning related entities. OM systems currently have two prevailing design paradigms: conventional knowledge-based expert systems and newer machine learning-based predictive systems. While large language models (LLMs) and LLM agents have revolutionised data engineering and have been applied creatively in many domains, their potential for OM remains underexplored. This study introduces a novel agent-powered LLM-based design paradigm for OM systems. With consideration of several specific challenges in leveraging LLM agents for OM, we propose a generic framework, namely Agent-OM (Agent for Ontology Matching), consisting of two Siamese agents for retrieval and matching, with a set of OM tools. Our framework is implemented in a proof-of-concept system. Evaluations of three Ontology Alignment Evaluation Initiative (OAEI) tracks over state-of-the-art OM systems show that our system can achieve results very close to the long-standing best performance on simple OM tasks and can significantly improve the performance on complex and few-shot OM tasks.

研究の動機と目的

• オントロジー照合（OM）という、意味的相互運用性の重要なタスクにおいて、LLMおよびLLMベースのエージェントが十分に活用されていないという問題に対処すること。
• 専門知識や大規模なラベル付きデータセットに依存する既存のOMシステムの限界を、事前学習済みLLMを活用することで克服すること。
• 微調整なしで、少データや複雑なOMタスクを自然言語駆動で行えるスケーラブルでノーコードのフレームワークを設計すること。
• 計画性、記憶機能、ツール利用を備えたLLMエージェントが、標準的なプロンプトベースのLLM推論を上回るOM性能をどのように向上させるかを検討すること。
• フレームワークを多様なOAEIトラックで評価し、複雑な状況およびリソースが限られた状況での優位性を示すこと。

提案手法

• リtrievalとマッチングにそれぞれ特化した二つのシアンズ型LLMエージェントを備えた二重エージェントアーキテクチャを設計する。
• 複雑なOMタスクを論理的推論ステップに分解するために、チェーン・オブ・チョイス（CoT）プロンプトを採用する。
• 事実の根拠付けを強化し、幻覚を低減するために、リtrieval増強生成（RAG）とコンテキスト内学習（ICL）を統合する。
• エンティティのリtrieval、意味的マッチング、メモリ保存のためのプロンプトベースのツール群を開発し、ツール増強推論を可能にする。
• モデル微調整を回避し、動的かつリアルタイムの知識インジェクションを可能にする、汎用的かつ再利用可能なプロンプト工学パイプラインを実装する。
• プロトタイプシステムとしてフレームワークを実装し、標準的なOMベンチマークを用いて三つのOAEIトラックで評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントは、複雑で少データのオントロジー照合タスクにおいて、従来の知識ベースおよび機械学習ベースのOMシステムを上回ることができるか？
• RQ2 CoT推論とRAGは、オントロジー照合の過程でLLMの幻覚をどれほど効果的に軽減できるか？
• RQ3 ノーコードでプロンプトベースのフレームワークは、微調整やドメイン特化データなしで、どれほど高い性能を達成できるか？
• RQ4 二重エージェント（シアンズ型）アーキテクチャは、モノリシックなLLMアプローチと比較して、リtrievalおよびマッチングの正確性をどのように向上させるか？
• RQ5 コンテキスト内学習とツール利用は、LLMベースのOMシステムのスケーラビリティと再利用性をどのように向上させるか？

主な発見

• Agent-OMは、単純なオントロジー照合タスクにおいて、長年にわたり最良とされてきたOMシステムに非常に近い性能を達成しており、強力なベースライン能力を示している。
• 複雑で少データのOMタスクにおいて、Agent-OMは既存の最先端システムを顕著に上回っており、優れた汎化能力と推論能力を示している。
• モデル微調整なしで高い性能を達成しており、代わりにプロンプト工学、CoT、RAGを用いて文脈的根拠を強化している。
• 専門的なリtrievalとマッチングの役割を担うシアンズ型エージェントの使用は、モノリシックなLLMアプローチと比較して、正確性とタスク分解の質を向上させている。
• 本システムは高い再利用性とスケーラビリティを示しており、わずか数個のシードマッピングでのみ低リソース状況を効果的に処理できる。
• RAGとコンテキスト内学習は幻覚を効果的に低減し、事実の整合性を向上させているが、完全に排除されたわけではない。