[논문 리뷰] Using Large Language Models for Knowledge Engineering (LLMKE): A Case Study on Wikidata

Bohui Zhang, Ioannis Reklos외 3명|arXiv (Cornell University)|2023. 09. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)인 GPT-3.5-turbo와 GPT-4를 사용하여 주어진 주어-관계 쌍에 대해 Wikidata 객체 엔티티를 예측하는 파이프라인인 LLMKE를 제안한다. 이는 문맥 내 학습과 Wikidata 엔티티 매핑을 결합한 방식이다. ISWC 2023 LM-KBC 챌린지에서 매크로 평균 F1 스코어 0.701을 기록하여, 다양한 도메인 간 성능 변동이 크지만 LLMs가 지식 기반 보완에 잠재력을 지닌다는 것을 입증한다.

ABSTRACT

In this work, we explore the use of Large Language Models (LLMs) for knowledge engineering tasks in the context of the ISWC 2023 LM-KBC Challenge. For this task, given subject and relation pairs sourced from Wikidata, we utilize pre-trained LLMs to produce the relevant objects in string format and link them to their respective Wikidata QIDs. We developed a pipeline using LLMs for Knowledge Engineering (LLMKE), combining knowledge probing and Wikidata entity mapping. The method achieved a macro-averaged F1-score of 0.701 across the properties, with the scores varying from 1.00 to 0.328. These results demonstrate that the knowledge of LLMs varies significantly depending on the domain and that further experimentation is required to determine the circumstances under which LLMs can be used for automatic Knowledge Base (e.g., Wikidata) completion and correction. The investigation of the results also suggests the promising contribution of LLMs in collaborative knowledge engineering. LLMKE won Track 2 of the challenge. The implementation is available at https://github.com/bohuizhang/LLMKE.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)을 활용한 Wikidata 내 자동 지식 기반 보완의 가능성 탐구
• 지식 커버리지와 도메인 특이성의 다양성에 따라 LLMs의 성능이 어떻게 변화하는지 평가
• 문맥 내 학습과 Wikidata 엔티티 해석을 조합하여 정확한 객체 예측을 위한 파이프라인 개발
• 불완전하거나 오래된 삼항관계를 식별함으로써 LLMs가 Wikidata 품질 향상에 기여할 수 있는지 평가
• 지식 공학에서 LLMs가 지식 격차를 탐지하고 수정 제안하는 데 협업 도구로 활용될 잠재력 탐색

제안 방법

• 주어와 관계 쌍이 주어졌을 때, 소수의 예시를 포함한 문맥 내 학습을 통해 LLMs가 객체 예측을 유도하는 방법을 사용한다.
• 예측된 객체 문자열은 레이블과 별칭을 기반으로 해석하는 wbsearchentities API를 사용해 Wikidata QID로 매핑된다.
• 이중 단계 파이프라인을 사용한다: 첫 번째로 LLMs가 후보 객체 문자열을 생성하고, 두 번째로 레이블과 별칭 기반 검색을 통해 Wikidata 엔티티와 매칭한다.
• GPT-3.5-turbo와 GPT-4를 모두 활용하여 모델 간 성능 비교 및 상호보완적인 지식 강점을 파악한다.
• 예측 결과를 기준으로 한 Wikidata 삼항관계와 비교하여 각 관계별 F1 스코어를 계산하고, 모든 속성에 대해 매크로 평균을 산출한다.
• 일부 실험에서는 위키백과의 문맥을 활용하여 LLM의 추론 능력을 향상시키지만, 지식 불일치로 인해 성능 저하가 발생할 수도 있다.

실험 결과

연구 질문

• RQ1 소수의 예시를 포함한 문맥 내 학습을 통해 LLMs가 주어진 주어-관계 쌍에 대해 Wikidata 객체 엔티티를 신뢰성 있게 예측할 수 있는가?
• RQ2 LLMs의 성능은 다양한 Wikidata 관계 간에 어떻게 변화하며, 이러한 변화에 영향을 미치는 요인은 무엇인가?
• RQ3 위키백과, Wikidata, LLMs 간의 지식 격차가 예측 정확도에 얼마나 큰 영향을 미치는가?
• RQ4 LLMs를 사용하여 불완전하거나 오래된 Wikidata 삼항관계를 탐지하고 수정 제안할 수 있는가?
• RQ5 다양한 LLMs를 조합하여 상호보완적인 지식을 활용함으로써 전체 성능을 향상시킬 수 있는가?

주요 결과

• LLMKE 파이프라인은 모든 Wikidata 속성에 대해 매크로 평균 F1 스코어 0.701을 기록했으며, 스코어 범위는 0.328에서 1.00까지 다양했다.
• GPT-4는 PersonHasNobelPrize 관계에서 완벽한 F1 스코어 1.00을 기록하여 잘 알려진 정밀한 사실에 대해 뛰어난 성능을 보였다.
• 가장 낮은 성능을 보인 관계인 PersonHasEmployer는 F1 스코어가 0.328에 불과하여, LLMs가 덜 일반적이거나 도메인 특화된 지식에서는 한계를 드러냈다.
• wbsearchentities API는 예측된 문자열과의 매칭에 실패하는 경우가 빈번히 발생했으며, 이는 레이블이나 별칭 누락으로 인한 해석 정확도 저하를 야기했다.
• 위키백과와 Wikidata 사이에 뚜렷한 지식 격차가 관찰되었으며, LLMs는 Wikidata가 아직 반영하지 않은 업데이트된 사실(예: Exor가 페라리의 부모)을 정확히 예측했다.
• 놀랍게도 GPT-3.5-turbo가 두 관계에서 GPT-4를 초월하는 성능을 보였으며, 이는 서로 다른 LLMs가 서로 다른 지식를 지닌다는 점을 시사하며, 앙상블 접근법의 타당성을 뒷받침한다.