[논문 리뷰] SAC-KG: Exploiting Large Language Models as Skilled Automatic Constructors for Domain Knowledge Graphs

Hanzhu Chen, Xu Shen외 4명|arXiv (Cornell University)|2024. 09. 22.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

SAC-KG는 원시 문헌에서 정확하고 다중 수준의 도메인 지식 그래프(KG)를 구축하기 위해 대규모 언어 모델(LLM)을 숙련된 자동 구축자로 활용하는 혁신적인 프레임워크를 제안한다. 반복적이고 엔티티 유도형 트리 탐색 방식으로 생성기, 검증기, 정리기 모듈을 통합함으로써, 100만 개 이상의 노드를 가진 KG에서 정밀도 89.32%를 달성하였으며, 기존 최고 수준의 방법들보다 정밀도에서 20% 이상 뛰어나다.

ABSTRACT

Knowledge graphs (KGs) play a pivotal role in knowledge-intensive tasks across specialized domains, where the acquisition of precise and dependable knowledge is crucial. However, existing KG construction methods heavily rely on human intervention to attain qualified KGs, which severely hinders the practical applicability in real-world scenarios. To address this challenge, we propose a general KG construction framework, named SAC-KG, to exploit large language models (LLMs) as Skilled Automatic Constructors for domain Knowledge Graph. SAC-KG effectively involves LLMs as domain experts to generate specialized and precise multi-level KGs. Specifically, SAC-KG consists of three components: Generator, Verifier, and Pruner. For a given entity, Generator produces its relations and tails from raw domain corpora, to construct a specialized single-level KG. Verifier and Pruner then work together to ensure precision by correcting generation errors and determining whether newly produced tails require further iteration for the next-level KG.Experiments demonstrate that SAC-KG automatically constructs a domain KG at the scale of over one million nodes and achieves a precision of 89.32%, leading to a superior performance with over 20% increase in precision rate compared to existing state-of-the-art methods for the KG construction task.

연구 동기 및 목표

• 기존 도메인 지식 그래프(KG) 구축 방법의 높은 인간 의존도와 낮은 확장성 문제를 해결한다.
• LLM 기반 KG 구축에서 발생하는 두 가지 주요 과제인 입력의 맥락적 노이즈와 출력의 지식 환각 현상을 극복한다.
• LLM을 숙련된 자동 구축자로 활용하여 도메인 특화 지식 그래프의 완전 자동화, 정밀도 향상, 제어 가능성 확보를 목표로 한다.
• 수동 코딩이나 미세조정 없이도 대규모 다중 수준의 도메인 KG를 고정밀도로, 고확장성 있게 구축하는 것을 달성한다.

제안 방법

• 생성기는 오픈소스 KG(예: DBpedia)에서 도메인 특화 문헌과 관련 삼항관계를 검색하여 LLM의 입력을 맥락적으로 풍부하게 한다.
• LLM은 통합된 입력 기반으로 엔티티 유도형 삼항관계(주어-관계-목적어)를 생성하여 특정 엔티티에 대한 단일 수준의 KG를 형성한다.
• 검증기는 RuleHub에서 제공하는 규칙 기반 기준을 활용해 생성 오류를 탐지하고 분류함으로써 사실적 일관성을 향상시킨다.
• 정리기는 생성된 목적어를 평가하고, 향후 반복 처리를 위해 유지할지(‘성장’), 제거할지 결정함으로써 다중 수준 KG 확장을 가능하게 한다.
• 엔티티가 ‘성장’으로 표시된 경우, 다음 생성 단계의 입력으로 활용되는 반복적이고 트리 탐색 유사 프로세스를 사용한다.
• 오픈 KG 검색과 도메인 문헌 검색의 통합은 사실 기반성 강화와 환각 현상 감소에 기여한다.

실험 결과

연구 질문

• RQ1 LLM을 최소한의 인간 간섭으로 정밀도 높은 도메인 특화 지식 그래프를 구축하는 데 효과적으로 활용할 수 있는가?
• RQ2 원시 도메인 문헌의 맥락적 노이즈를 어떻게 완화시켜 LLM 생성 삼항관계의 품질을 향상시킬 수 있는가?
• RQ3 오류 탐지 및 정리 메커니즘이 지식 환각 현상을 얼마나 줄이고 KG 정밀도를 향상시킬 수 있는가?
• RQ4 반복적이고 다중 수준의 구축 프로세스는 단일 단계 처리 방법에 비해 도메인 KG의 확장성과 사실적 정확도를 어떻게 크게 향상시킬 수 있는가?
• RQ5 SAC-KG는 도메인 특화 작업뿐만 아니라 오픈 정보 추출(OIE) 작업까지 다양한 벤치마크에서 어떻게 성능을 발휘하는가?

주요 결과

• SAC-KG는 100만 개 이상의 노드를 가진 도메인 특화 지식 그래프를 구축하며, 정밀도 89.32%를 달성하여 기존 최고 수준의 방법들을 크게 능가한다.
• 기존 최고 수준의 방법들보다 정밀도 20% 이상 향상되어, 뛰어난 사실적 정확성을 입증한다.
• 제거 실험(ablation study) 결과, 특히 정리기 또는 오픈 KG 검색기의 제거 시 성능 저하가 뚜렷하게 나타나, 이들 모듈의 핵심적 역할을 입증한다.
• 벼락 및 전문가 사례 연구에서, 정규식 기반 또는 다른 LLM 기반 방법에 비해 더 해석 가능하고 도메인 특화된 삼항관계를 생성하지만, 재현율은 낮다.
• 표준 OIE 벤치마크(OIE2016, NYT, WEB, PENN)에서 최고 수준의 성능을 기록하여, 도메인 특화 작업을 넘어 일반화 및 강건성을 입증한다.
• 도메인 문헌과 오픈 KG 검색의 통합이 생성 품질 향상에 크게 기여함을 제거 실험 및 사례 분석을 통해 입증했다.