[논문 리뷰] KC-GenRe: A Knowledge-constrained Generative Re-ranking Method Based on Large Language Models for Knowledge Graph Completion

Yilin Wang, Minghao Hu외 4명|arXiv (Cornell University)|2024. 03. 26.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

KC-GenRe는 지식 제약을 갖춘 생성적 LLM 접근법을 사용하여 상위-K KG 완료 후보를 재순위화하고, 불일치, 잘못된 순서 지정, 누락을 해결하며, 네 개 데이터셋에서 최첨단 성과를 달성한다.

ABSTRACT

The goal of knowledge graph completion (KGC) is to predict missing facts among entities. Previous methods for KGC re-ranking are mostly built on non-generative language models to obtain the probability of each candidate. Recently, generative large language models (LLMs) have shown outstanding performance on several tasks such as information extraction and dialog systems. Leveraging them for KGC re-ranking is beneficial for leveraging the extensive pre-trained knowledge and powerful generative capabilities. However, it may encounter new problems when accomplishing the task, namely mismatch, misordering and omission. To this end, we introduce KC-GenRe, a knowledge-constrained generative re-ranking method based on LLMs for KGC. To overcome the mismatch issue, we formulate the KGC re-ranking task as a candidate identifier sorting generation problem implemented by generative LLMs. To tackle the misordering issue, we develop a knowledge-guided interactive training method that enhances the identification and ranking of candidates. To address the omission issue, we design a knowledge-augmented constrained inference method that enables contextual prompting and controlled generation, so as to obtain valid rankings. Experimental results show that KG-GenRe achieves state-of-the-art performance on four datasets, with gains of up to 6.7% and 7.7% in the MRR and Hits@1 metric compared to previous methods, and 9.0% and 11.1% compared to that without re-ranking. Extensive analysis demonstrates the effectiveness of components in KG-GenRe.

연구 동기 및 목표

• 동기: 지식 그래프는 종종 불완전하며, 보완 품질을 향상시키기 위해 후보 꼬리 엔티티의 효과적인 재순위가 필요하다.
• 목표: (i) 정확한 텍스트 매칭(불일치)을 피하고, (ii) 적절한 후보 순서를 학습하며, (iii) 모든 후보를 고려하도록 생성적 LLM 기반 재순위 방법을 개발한다.
• 목표: 1단계 KG 임베딩을 활용해 순위를 안내하고, 맥락 정보를 검색하여 타당한 순위를 위한 생성을 제약한다.

제안 방법

• 재순위화를 후보 이름이 아닌 후보 옵션 식별자의 정렬된 시퀀스로 출력하도록 공식화하여 불일치를 피한다.
• 쿼리-후보 및 후보-후보 상호작용을 통한 지식 가이드형 대화식 학습을 도입하여 후보의 타당성과 상대적 순서를 학습하고, LLM 출력과 1단계 점수를 정렬시키는 손실을 사용한다.
• 쿼리 관련 프롬프트와 후보 지원 프롬프트를 포함한 지식 보강 제약 추론과 완전하고 타당한 순위를 보장하는 제약된 옵션 생성을 제안한다.
• KC-GenRe 프레임워크에서 QLORA를 통해 LLaMA-7b를 미세조정하고, 1단계 KGE 모델의 상위-K 후보와 입력/출력 형식을 위한 지시 템플릿을 사용한다.

실험 결과

연구 질문

• RQ1 생성적 LLM을 지식 그래프 보완 후보 재순위화에 효과적으로 활용하여 생성 텍스트와 KG 엔티티 간의 불일치를 완화할 수 있는가?
• RQ2 지식 가이드형 학습 및 지식 보강 추론이 LLM 기반의 KGC 재순위화의 안정성과 품질을 향상시킬 수 있는가?
• RQ3 LLM 출력이 후보 옵션 식별자로 제약되고 맥락 프롬프트를 활용하는 것이 순위 정확도와 타당성을 향상시키는가?

주요 결과

모델	Wiki27K MRR	Wiki27K Hits@1	Wiki27K Hits@3	Wiki27K Hits@10	FB15K-237-N MRR	FB15K-237-N Hits@1	FB15K-237-N Hits@3	FB15K-237-N Hits@10
TransE †	0.155	0.032	0.228	0.378	0.255	0.152	0.301	0.459
TransC †	0.175	0.124	0.215	0.339	0.233	0.129	0.298	0.395
ConvE †	0.226	0.164	0.244	0.354	0.273	0.192	0.305	0.429
WWV †	0.198	0.157	0.237	0.365	0.269	0.137	0.287	0.443
TuckER Balazevic et al.	0.249	0.185	0.269	0.385	0.309	0.227	0.340	0.474
RotatE Sun et al.	0.216	0.123	0.256	0.394	0.279	0.177	0.320	0.481
KG-BERT Yao et al.	0.192	0.119	0.219	0.352	0.203	0.139	0.201	0.403
PKGC Lv et al.	0.285	0.230	0.305	0.409	0.332	0.261	0.346	0.487
KC-GenRe	0.317	0.274	0.330	0.408	0.399	0.338	0.427	0.505

• KC-GenRe는 네 개 데이터셋에서 최적의 재순위 성능을 달성했으며, 큐레이션된 데이터에서 이전 방법 대비 MRR에서 최대 6.7% 절대 증가, Hits@1에서 7.7% 증가를 나타냈다.
• 개방형 KG 데이터셋에서 KC-GenRe는 베이스라인 대비 MRR에서 2.1–3.5%, Hits@1에서 2.1–3.8%의 향상을 보였다.
• 애블레이션 연구에서 쿼리-후보 상호작용과 후보-후보 상호작용이 성능을 크게 향상시키며, 쿼리 관련 프롬프트와 후보 지원 프롬프트의 조합이 최상의 결과를 낳는 것으로 나타났다.
• 제한된 옵션 생성은 결정적으로 중요하며, 이를 제거하면 성능이 저하되어 후보 집합과의 정렬을 맞추는 것이 필요함을 시사한다.