[논문 리뷰] Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs

Yifei Zhang, Xintao Wang외 4명|arXiv (Cornell University)|2024. 06. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 지식 그래프(KG)에서 학습함으로써 지식 추론을 통해 대규모 언어 모델(LLM)의 성능을 향상시키는 프레임워크인 체인 오브 지식(Chain-of-Knowledge, CoK)을 제안한다. 규칙 마이닝과 자연어 변환을 통해 생성된 정제된 데이터셋인 KnowReason을 도입하였으며, 시도와 실수 기반의 메커니즘을 도입하여 규칙 과적합 문제를 완화함으로써 지식 추론 및 일반 추론 벤치마크, 특히 OOD 일반화와 일반 지식 추론 과제에서 LLM의 성능을 크게 향상시켰다.

ABSTRACT

Large Language Models (LLMs) have exhibited impressive proficiency in various natural language processing (NLP) tasks, which involve increasingly complex reasoning. Knowledge reasoning, a primary type of reasoning, aims at deriving new knowledge from existing one.While it has been widely studied in the context of knowledge graphs (KGs), knowledge reasoning in LLMs remains underexplored. In this paper, we introduce Chain-of-Knowledge, a comprehensive framework for knowledge reasoning, including methodologies for both dataset construction and model learning. For dataset construction, we create KnowReason via rule mining on KGs. For model learning, we observe rule overfitting induced by naive training. Hence, we enhance CoK with a trial-and-error mechanism that simulates the human process of internal knowledge exploration. We conduct extensive experiments with KnowReason. Our results show the effectiveness of CoK in refining LLMs in not only knowledge reasoning, but also general reasoning benchmarkms.

연구 동기 및 목표

• 복잡한 추론 과제에 핵심적인 영향을 미치는 지식 추론을 대규모 언어 모델(LLM)에 통합하는 데 있어 아직 탐색되지 않은 분야를 해결하기 위해.
• 지식 그래프에서 복합 규칙를 마이닝하고 이를 자연어 샘플로 변환하여 고품질이고 다양한 데이터셋인 KnowReason을 구축하기 위해.
• 지식 추론 학습 과정에서 LLM의 규칙 과적합과 환각 현상을 완화하여, 미리 보지 않은 규칙으로의 일반화 능력 향상을 위해.
• 지식 추론 외의 다양한 추론 벤치마크, 예를 들어 일반 지식 추론이나 기호 추론에 대한 일반화 능력 향상 및 이식성 향상을 위해.

제안 방법

• 3단계 파이프라인을 통한 데이터셋 구축: (1) 지식 그래프에서 복합 관계 패턴을 추출하기 위한 규칙 마이닝; (2) 마이닝된 규칙와 일치하는 상관관계가 있는 삼중항을 식별하기 위한 지식 선택; (3) 삼중항을 자연어 추론 예제로 변환하기 위한 샘플 생성.
• 행위 클로닝을 사용한 모델 학습으로, LLM을 KnowReason 데이터셋에 맞게 피지컬러닝하여 추론 체인을 모방하도록 미세조정.
• CoK 내에서 도입된 시도와 실수 기반 메커니즘(T&E)은 인간과 유사한 내부 지식 탐색을 시뮬레이션하여 특정 규칙에 대한 과도한 의존도를 줄이고 모델의 강건성을 향상시킴.
• 평가를 위해 익명화된 설정과 일반 설정을 활용: 익명화된 설정은 데이터 泄露를 방지하기 위해, 일반 설정은 실제 엔티티를 사용한 실세계 적용 가능성 테스트를 위해.
• 다음 추론 과제에 CoK 프레임워크를 적용하여 이식성 평가: 일반 지식 추론(CSQA), BBH, ARC.
• 모델 전용 데이터를 확보하고 평가 중 데이터 泄露를 방지하기 위해 지식 프로빙을 구현함.

실험 결과

연구 질문

• RQ1 지식 그래프에서의 구조화된 지식을 활용하여 LLM에 지식 추론을 효과적으로 통합할 수 있는가?
• RQ2 규칙 과적합은 LLM의 지식 추론 성능에 어떤 영향을 미치며, 인간을 모방한 학습 메커니즘을 통해 이를 완화할 수 있는가?
• RQ3 CoK 프레임워크는 분포를 벗어난(OOD) 추론 과제에서 얼마나 뛰어난 일반화 능력을 보이는가?
• RQ4 CoK 프레임워크는 지식 추론 외의 다양한 추론 벤치마크, 예를 들어 일반 지식 추론이나 기호 추론에서 성능 향상에 기여하는가?

주요 결과

• 익명화된 설정에서 CoK (T&E)는 OOD 데이터셋에서 22.22%의 정확도를 기록하여, 베이직한 CoT(0.00%)와 ICL-CoK(6.20%)를 압도적으로 앞서며 일반화 능력 향상을 입증하였다.
• 일반 설정에서 CoK (T&E)는 OOD 데이터셋에서 22.22%의 정확도를 기록하여 실제 엔티티 데이터에 대한 강건성과 규칙 의존도 감소를 입증하였다.
• 일반 지식 추론 벤치마크에서 Mistral-7b + CoK (T&E)는 CSQA 정확도를 66.5%에서 68.1%로, BBH는 53.2%에서 54.7%로, ARC-e는 81.2%에서 82.3%로 향상시켜 뛰어난 이식성 잠재력을 보였다.
• 오류 분석 결과, OOD 설정에서 모델의 오류는 주로 잘못된 추론 경로 때문이었으며, 사실 환각 현상보다는 경로 선택의 중요성을 강조하였다.
• CoK (T&E)의 시도와 실수 기반 메커니즘은 규칙 과적합을 크게 감소시켰으며, OOD 성능 향상과 엔티티 선택 시 환각 비율 감소를 통해 이를 입증하였다.
• 규칙 마이닝과 자연어 변환을 통해 구축된 KnowReason 데이터셋은 다양한 실질적인 추론 경로를 제공하여 LLM의 지식 추론 학습 및 평가에 효과적으로 기여한다.