[논문 리뷰] Agent-OM: Leveraging LLM Agents for Ontology Matching

Zhangcheng Qiang, Weiqing Wang외 1명|arXiv (Cornell University)|2023. 12. 01.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 논문은 두 개의 시아네이즈 에이전트와 프롬프트 기반 도구를 사용하여 검색 및 매칭을 향상시키는 LLM 기반의 새로운 프레임워크인 Agent-OM을 제안한다. 미세조정 없이도 복잡한 및 소수 샘플 온톨로지 매칭 작업에서 최신 기술 수준의 성능을 달성하며, 체인 오브 톰(Chain-of-Thought) 추론, 검색 증강 생성(Retrieval-Augmented Generation), 그리고 컨텍스트 내 학습(In-Context Learning)을 활용한다.

ABSTRACT

Ontology matching (OM) enables semantic interoperability between different ontologies and resolves their conceptual heterogeneity by aligning related entities. OM systems currently have two prevailing design paradigms: conventional knowledge-based expert systems and newer machine learning-based predictive systems. While large language models (LLMs) and LLM agents have revolutionised data engineering and have been applied creatively in many domains, their potential for OM remains underexplored. This study introduces a novel agent-powered LLM-based design paradigm for OM systems. With consideration of several specific challenges in leveraging LLM agents for OM, we propose a generic framework, namely Agent-OM (Agent for Ontology Matching), consisting of two Siamese agents for retrieval and matching, with a set of OM tools. Our framework is implemented in a proof-of-concept system. Evaluations of three Ontology Alignment Evaluation Initiative (OAEI) tracks over state-of-the-art OM systems show that our system can achieve results very close to the long-standing best performance on simple OM tasks and can significantly improve the performance on complex and few-shot OM tasks.

연구 동기 및 목표

• 정의된 바와 같이, 온톨로지 매칭(OM)은 의미적 상호운용성의 핵심 과제이며, LLM 및 LLM 기반 에이전트의 잠재적 활용이 아직 충분히 이루어지지 않은 문제를 해결하기 위함이다.
• 기존의 OM 시스템이 전문 지식이나 대규모 레이블이 부여된 데이터셋에 의존하는 데에 기인한 한계를 극복하기 위해 사전 학습된 LLM을 활용하고자 한다.
• 모델 미세조정 없이도 소수 샘플 및 복잡한 OM 과제를 수행할 수 있도록 확장 가능하고, 코드가 필요 없는 자연어 기반 프레임워크를 설계하고자 한다.
• 플래닝, 기억, 도구 사용 기능을 갖춘 LLM 에이전트가 표준 프롬프트 기반 LLM 추론을 넘어서 OM 성능을 향상시키는 방식을 탐색하고자 한다.
• 다양한 OAEI 트랙에서 프레임워크를 평가하고, 복잡한 상황과 자원이 제한된 환경에서의 우수성을 입증하고자 한다.

제안 방법

• 검색 전용과 매칭 전용으로 특화된 두 개의 시아네이즈 LLM 에이전트를 갖춘 이중 에이전트 아키텍처를 설계한다.
• 복잡한 OM 과제를 논리적 추론 단계로 분해하기 위해 체인 오브 톰(Chain-of-Thought, CoT) 프롬프팅을 활용한다.
• 사실 기반의 정확성 향상과 환상(Hallucination) 감소를 위해 검색 증강 생성(Retrieval-Augmented Generation, RAG)과 컨텍스트 내 학습(In-Context Learning, ICL)을 통합한다.
• 엔티티 검색, 의미적 매칭, 기억 저장을 위한 프롬프트 기반 도구 세트를 개발하여 도구 증강 추론을 가능하게 한다.
• 모델 미세조정을 방지하고 동적이고 실시간 지식 주입을 지원하는 일반적이고 재사용 가능한 프롬프트 엔지니어링 파이프라인을 구현한다.
• 프로토타입 시스템으로서 프레임워크를 구현하고, 표준 OM 벤치마크를 사용하여 세 가지 OAEI 트랙에서 평가한다.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트는 복잡하고 소수 샘플 온톨로지 매칭 과제에서 기존의 지식 기반 및 기계학습 기반 OM 시스템을 능가할 수 있는가?
• RQ2 체인 오브 톰 추론과 RAG는 온톨로지 매칭 과정에서 LLM의 환상 현상을 얼마나 효과적으로 완화하는가?
• RQ3 코드가 필요 없는 프롬프트 기반 프레임워크는 미세조정이나 도메인 전용 데이터 없이도 높은 성능을 달성할 수 있는가?
• RQ4 이중 에이전트(Siamese) 아키텍처는 단일 에이전트 LLM 접근 방식에 비해 검색 및 매칭 정확도를 얼마나 향상시키는가?
• RQ5 컨텍스트 내 학습과 도구 사용은 LLM 기반 OM 시스템의 확장성과 재사용성 향상에 어떤 역할을 하는가?

주요 결과

• Agent-OM은 단순한 온톨로지 매칭 과제에서 오랫동안 최고의 성능을 기록한 기존 시스템과 매우 유사한 성능을 달성하여 강력한 베이스라인 능력을 입증한다.
• 복잡하고 소수 샘플 온톨로지 매칭 과제에서 Agent-OM은 기존 최신 기술 수준의 시스템을 뚜렷이 앞서며, 뛰어난 일반화 및 추론 능력을 보여준다.
• 모델 미세조정 없이도 프롬프트 엔지니어링, 체인 오브 톰, RAG를 통해 맥락 기반의 정확성 향상을 달성한다.
• 특화된 검색 및 매칭 역할을 가진 시아네이즈 에이전트의 사용은 단일 모델 기반 접근 방식에 비해 정확도 향상과 과제 분해 능력을 향상시킨다.
• 시스템은 높은 재사용성과 확장성을 보이며, 소수의 시드 매핑만으로도 자원이 제한된 상황을 효과적으로 처리할 수 있다.
• RAG와 컨텍스트 내 학습은 환상과 사실 일관성을 효과적으로 감소시키지만, 완전히 제거되지는 않는다.