[논문 리뷰] Conversational Ontology Alignment with ChatGPT

Sanaz Saki Norouzi, Mohammad Saeid Mahdavinejad외 1명|arXiv (Cornell University)|2023. 08. 18.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 온톨로지 삼항관계를 관계(주어, 목적어) 형식으로 포맷한 구조적 프롬프트를 사용하여 ChatGPT의 제로샷 온톨로지 정렬 성능을 평가한다. 평균 0.69의 높은 재현율을 달성했지만, 평균 정밀도는 0.46으로 낮아 잘못된 양성 결과가 다수 발생함을 시사한다. 다만, 후보 매핑을 식별하고 확장용 새로운 엔티티를 제안하는 데 잠재력이 있음.

ABSTRACT

This study evaluates the applicability and efficiency of ChatGPT for ontology alignment using a naive approach. ChatGPT's output is compared to the results of the Ontology Alignment Evaluation Initiative 2022 campaign using conference track ontologies. This comparison is intended to provide insights into the capabilities of a conversational large language model when used in a naive way for ontology matching, and to investigate the potential advantages and disadvantages of this approach.

연구 동기 및 목표

• 피팅 튜닝이나 소수 예시 없이 ChatGPT를 온톨로지 정렬에 사용하는 것이 가능한지 평가하기 위해.
• 다양한 프롬프트 엔지니어링 전략이 정렬 품질에 미치는 영향을 조사하기 위해.
• OAEI 2022 컨ference 트랙의 기준 정렬 결과와 비교하여 ChatGPT의 제로샷 출력 성능을 평가하기 위해.
• 대화형 대규모 언어 모델을 활용한 온톨로지 통합에서 의미 매칭의 강점과 한계를 규명하기 위해.

제안 방법

• OAEI 2022 컨퍼런스 트랙 온톨로지에서 유래한 온톨로지 삼항관계를 관계(주어, 목적어) 형식으로 포맷함. 예: Is-a (track, conference_part).
• 고정 템플릿을 사용한 프롬프트 설계: 문제 정의, 온톨로지 1의 삼항관계, 온톨로지 2의 삼항관계, 의미적으로 유사한 엔티티를 매핑하는 목적.
• 다양한 프롬프트 변형을 테스트하였으며, 최종 방법은 모델 이해도 향상을 위해 형식화된 텍스트를 사용함.
• 토큰 제한을 처리하기 위해 장문의 프롬프트를 더 작은 세그먼트로 분할하였으며, 상호작용 간에 맥락을 유지함.
• 고급 온톨로지 구조를 포함하지 않기 위해 삼항관계로 표현 가능한 축약자만 포함함.
• 성능 평가를 위해 OAEI 2022 기준 정렬(ra1-M3)과 비교하여 정밀도, 재현율, F1 점수를 사용함.

실험 결과

연구 질문

• RQ1 ChatGPT와 같이 제로샷이며 단순한 프롬프트로만 구성된 언어 모델이 기존의 정립된 시스템과 비교해 경쟁 가능한 성능을 내는가?
• RQ2 다양한 프롬프트 포맷 전략이 생성된 정렬 품질에 어떤 영향을 미치는가?
• RQ3 ChatGPT의 온톨로지 매칭에서 주로 발생하는 실패 유형은 무엇인가? 예를 들어, 잘못된 양성 결과나 잘못된 하位 클래스 매핑 등.
• RQ4 명시적인 훈련이나 예시 없이 ChatGPT가 의미적 대응 관계를 어느 정도 식별할 수 있는가?
• RQ5 원래 온톨로지에 존재하지 않는 새로운 엔티티나 매핑을 ChatGPT가 유의미하게 생성할 수 있는가?

주요 결과

• ChatGPT는 21개의 온톨로지 쌍에 대해 평균 F1 점수 0.52를 기록하여 중간 정도의 전체 정렬 품질을 확보함.
• 모델은 높은 재현율(평균 0.69)을 보였으며, 이는 진정한 정렬의 대부분을 성공적으로 식별했음을 의미함.
• 정밀도는 낮게 유지됨(평균 0.46), 이는 생성된 매핑에서 잘못된 양성 결과의 비율이 높다는 것을 시사함.
• 형식화된 포맷과 철저한 맥락 관리를 적용한 프롬프트 7이 가장 우수한 성능을 보였으며, cmt-conference 쌍에서 F1 점수 0.62를 기록함.
• ChatGPT는 자주 불확실하거나 추측적인 매핑을 생성했으며, 입력 온톨로지에 존재하지 않는 새로운 엔티티도 포함함.
• 토큰 길이 제한이 모델이 전체 온톨로지를 처리하는 능력을 크게 제약하였으며, 이에 따라 프롬프트 세그먼테이션 필요함.