[논문 리뷰] Automated Construction of Theme-specific Knowledge Graphs

Linyi Ding, Sizhe Zhou외 2명|arXiv (Cornell University)|2024. 04. 29.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 TKGCon을 제안하며, Wikipedia 기반 온톨로지와 LLM이 생성한 관계 후보를 결합하여 코퍼스로부터 미세하고 주제 특화된 지식 그래프를 구축하는 무감독 프레임워크를 제시하고, 두 가지 주제에서 그 효과를 입증한다.

ABSTRACT

Despite widespread applications of knowledge graphs (KGs) in various tasks such as question answering and intelligent conversational systems, existing KGs face two major challenges: information granularity and deficiency in timeliness. These hinder considerably the retrieval and analysis of in-context, fine-grained, and up-to-date knowledge from KGs, particularly in highly specialized themes (e.g., specialized scientific research) and rapidly evolving contexts (e.g., breaking news or disaster tracking). To tackle such challenges, we propose a theme-specific knowledge graph (i.e., ThemeKG), a KG constructed from a theme-specific corpus, and design an unsupervised framework for ThemeKG construction (named TKGCon). The framework takes raw theme-specific corpus and generates a high-quality KG that includes salient entities and relations under the theme. Specifically, we start with an entity ontology of the theme from Wikipedia, based on which we then generate candidate relations by Large Language Models (LLMs) to construct a relation ontology. To parse the documents from the theme corpus, we first map the extracted entity pairs to the ontology and retrieve the candidate relations. Finally, we incorporate the context and ontology to consolidate the relations for entity pairs. We observe that directly prompting GPT-4 for theme-specific KG leads to inaccurate entities (such as "two main types" as one entity in the query result) and unclear (such as "is", "has") or wrong relations (such as "have due to", "to start"). In contrast, by constructing the theme-specific KG step by step, our model outperforms GPT-4 and could consistently identify accurate entities and relations. Experimental results also show that our framework excels in evaluations compared with various KG construction baselines.

연구 동기 및 목표

• 주제별 연구를 위한 기존 지식 그래프의 제약된 상세도와 시의성을 해결한다.
• 주석 없이 원시 코퍼스로부터 자동으로 주제별 지식 그래프(ThemeKG)를 구축한다.
• Wikipedia에서 파생된 엔티티 온톨로지와 LLM이 생성한 관계 온톨로지를 활용해 추출을 안내한다.
• 온톨로지 기반의 단계적 파이프라인을 통해 주제에의 일관성을 보장하고 환각을 줄인다.

제안 방법

• Wikipedia 엔티티 범주에서 주제 온톨로지를 구성하여 엔티티 온톨로지를 형성한다.
• 엔티티 온톨로지를 바탕으로 주제 엔티티 범주 간의 후보 관계를 LLM에 질의해 관계 온톨로지를 생성한다(엔티티 온톨로지를 안내로 삼아 범주 쌍을 공동으로 고려).
• 주제 문서에서 엔티티 언급을 인식하고 유형을 지정하며 이를 엔티티 온톨로지의 가장 가까운 Wikipedia 범주에 매핑한다.
• 관계 온톨로지와 그 상위 범주의 엔티티 쌍에 대한 후보 관계를 검색한 뒤, 문서 맥락과 LLM을 활용하여 필터링하고 통합한다.
• 상황 맥락을 반영한 단계적 프롬프트 프레임워크를 사용해 각 엔티티 쌍에 대해 최적의 관계를 선택하고 ThemeKG를 풍부하게 하기 위해 새로운 삼중항을 추가할 수 있도록 한다.
• 베이스라인과 비교하고 온톨로지 가이드의 효과를 보여주기 위해 소거 연구를 수행한다(TKGCon w/ ontology vs. TKGCon w/o ontology).

실험 결과

연구 질문

• RQ1 주제 관련 코퍼스로부터 감독 없이도 주제별 KG를 정확하게 구축할 수 있는가?
• RQ2 온톨로지 가이드 추출이 엔티티 및 관계 정확도와 주제 일관성을 엔드-투-엔드 GPT-4 프롬프트나 OpenIE 기준선과 비교할 때 향상되는가?
• RQ3 Wikipedia에서 파생된 엔티티 온톨로지와 LLM이 생성한 관계 온톨로지를 도입하는 것이 ThemeKG의 정밀도, 재현율, 일관성에 어떤 영향을 미치는가?
• RQ4 온톨로지 안내 파이프라인과 비온톨로지 variant가 삼중항 품질과 주제 관련성에 미치는 영향은 무엇인가?

주요 결과

• TKGCon은 엔티티 및 삼중항 지표에서 기준 KG 구축 방법을 능가하고 높은 주제 일관성을 달성한다.
• 엔드-투-엔드 GPT-4 프롬프팅은 부정확한 엔티티와 애매하거나 잘못된 관계를 생성할 수 있지만, 온톨로지 가이드 접근은 이러한 문제를 줄인다.
• 명시적 구문 마이닝과 필터링으로 엔티티 인식이 향상되어 재현율과 정밀도가 기준선보다 개선된다.
• 온톨로지 가이드 관계 온톨로지를 사용하면 엔드-투-엔드 프롬프트보다 주제 특화 관계가 더 정확하고 일관된다.
• 소거 실험은 온톨로지 가이드를 제거하면 관계 품질과 전반적인 KG 일관성이 저하된다는 것을 보여준다.