[논문 리뷰] Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

Linyao Yang, Hongyang Chen외 3명|arXiv (Cornell University)|2023. 06. 20.

Topic Modeling인용 수 26

한 줄 요약

지식 그래프–증강 언어 모델(KGPLMs)에 대한 포괄적 고찰과 지식 그래프–강화 대형 언어 모델(KGLLMs)을 개발하여 LLM의 사실 기억 및 추론을 향상시키려는 제안에 대한 연구.

ABSTRACT

Recently, ChatGPT, a representative large language model (LLM), has gained considerable attention due to its powerful emergent abilities. Some researchers suggest that LLMs could potentially replace structured knowledge bases like knowledge graphs (KGs) and function as parameterized knowledge bases. However, while LLMs are proficient at learning probabilistic language patterns based on large corpus and engaging in conversations with humans, they, like previous smaller pre-trained language models (PLMs), still have difficulty in recalling facts while generating knowledge-grounded contents. To overcome these limitations, researchers have proposed enhancing data-driven PLMs with knowledge-based KGs to incorporate explicit factual knowledge into PLMs, thus improving their performance to generate texts requiring factual knowledge and providing more informed responses to user queries. This paper reviews the studies on enhancing PLMs with KGs, detailing existing knowledge graph enhanced pre-trained language models (KGPLMs) as well as their applications. Inspired by existing studies on KGPLM, this paper proposes to enhance LLMs with KGs by developing knowledge graph-enhanced large language models (KGLLMs). KGLLM provides a solution to enhance LLMs' factual reasoning ability, opening up new avenues for LLM research.

연구 동기 및 목표

• 지식 그래프–증강 사전 학습 언어 모델(KGPLMs)과 이들의 학습 단계의 현황을 조사한다.
• 지식 그래프가 사실 기억, 추론, 및 PLMs와 LLMs의 환각에 어떻게 대응하는지 분석한다.
• 지식 그래프–강화 대형 언어 모델(KGLLMs)이라는 개념을 제안하여 LLM의 지식 모델링을 향상시킨다.
• KG를 LLM과 통합하는 도전과제, 이점 및 향후 방향에 대해 요약한다.

제안 방법

• KGPLM 방법 및 응용에 대한 체계적 문헌 고찰.
• KGPLMs를 사전 학습 전, 학습 중, 학습 후 개선으로 분류한다.
• 지식 주입 기법 및 지식 노이즈 처리에 대한 논의.
• 사실 기억, 추론 및 해석 가능성에 대한 KG의 이점을 분석한다.
• KGLLM을 LLM의 사실 지식 및 추론을 향상시키는 방향으로 제안한다.

Figure 1: Main frameworks of existing PLMs, in which $x_{i}$ is the $i$ -th token of the input sentence, $\left[M\right]$ represents the masked token and $\left[S\right]$ is the start token.

실험 결과

연구 질문

• RQ1 LLM의 사실 지식 및 추론을 향상시키기 위해 지식 그래프를 구축하고 사용하는 것이 여전히 필요한가?
• RQ2 지식 그래프를 LLM과 효과적으로 통합하여 지식 기억을 개선하고 환각을 감소시키려면 어떻게 해야 하는가?
• RQ3 KGPLMs의 주요 카테고리와 기법은 무엇이며, 이것이 KGLLMs의 개발에 어떤 정보를 제공하는가?
• RQ4 대형 언어 모델의 지식 그래프 기반 강화에 대한 미래 방향과 도전 과제는 무엇인가?

주요 결과

• KGPLMs는 KG가 참여하는 시점에 따라 사전 학습 전, 학습 중, 학습 후 개선으로 분류된다.
• 지식 통합 전략에는 입력 구조 확장, 정보 강화, 데이터 생성, 사전 학습 전 방법에 대한 마스크 최적화가 포함된다.
• 학습 중 방법은 지식 인코더, 지식 융합 계층, 어댑터를 추가하거나 텍스트를 KG 구조에 더 잘 맞추도록 사전 학습 작업을 수정한다.
• 학습 후 접근 방식은 지식을 사용해 PLM를 미세 조정하거나 지식 기반 프롬프트를 생성하여 생성을 안내한다.
• KG는 환각을 완화하고 사실적 근거를 강화하며 지식 출처를 명시적으로 만들면 해석 가능성을 높일 수 있다.
• 논문은 KG로 보강된 대형 언어 모델인 KGLLMs를 제안하여 LLM의 사실 지식 모델링 및 추론을 진전시키려 한다.

Figure 2: Milestones of LLMs. Open-source models are represented by solid squares, while closed-source models are represented by hollow squares.