[논문 리뷰] Large Knowledge Model: Perspectives and Challenges

Huajun Chen|arXiv (Cornell University)|2023. 12. 05.

Topic Modeling참고 문헌 71인용 수 4

한 줄 요약

이 논문은 다양한 지식 구조를 더 효과적으로 처리하기 위해 대규모 언어 모델(LM)과 지식 그래프(KG)를 통합하는 통합 프레임워크인 대규모 지식 모델(LKM)을 제안한다. 기호적 지식 표현과 신경망 파rameterization을 결합함으로써 LKM는 추론 능력을 향상시키고 환각 현상을 줄이며 해석 가능성을 높이기 위해 다섯 가지 'A' 원칙—강화된 사전학습, 진정성 있는 지식, 책임 있는 추론, 풍부한 커버리지, 지식과의 일치—을 목표로 한다.

ABSTRACT

Humankind's understanding of the world is fundamentally linked to our perception and cognition, with \emph{human languages} serving as one of the major carriers of \emph{world knowledge}. In this vein, \emph{Large Language Models} (LLMs) like ChatGPT epitomize the pre-training of extensive, sequence-based world knowledge into neural networks, facilitating the processing and manipulation of this knowledge in a parametric space. This article explores large models through the lens of "knowledge". We initially investigate the role of symbolic knowledge such as Knowledge Graphs (KGs) in enhancing LLMs, covering aspects like knowledge-augmented language model, structure-inducing pre-training, knowledgeable prompts, structured CoT, knowledge editing, semantic tools for LLM and knowledgeable AI agents. Subsequently, we examine how LLMs can boost traditional symbolic knowledge bases, encompassing aspects like using LLM as KG builder and controller, structured knowledge pretraining, and LLM-enhanced symbolic reasoning. Considering the intricate nature of human knowledge, we advocate for the creation of \emph{Large Knowledge Models} (LKM), specifically engineered to manage diversified spectrum of knowledge structures. This promising undertaking would entail several key challenges, such as disentangling knowledge base from language models, cognitive alignment with human knowledge, integration of perception and cognition, and building large commonsense models for interacting with physical world, among others. We finally propose a five-"A" principle to distinguish the concept of LKM.

연구 동기 및 목표

• 현재 LLM이 구조적이고 기호적인 지식을 다루는 데서 겪는 한계를 해결하고 환각 현상을 줄이기 위해.
• 지식 그래프와 같은 전통적인 기호적 지식 기반의 경직성과 확장성 문제를 극복하기 위해.
• LLM의 강점(일반화, 언어 이해)과 기호적 지식의 강점(해석 가능성, 구조성)을 통합하여 더 신뢰할 수 있는 AI 시스템을 만들기 위해.
• 일관된 모델 아키텍처 안에서 텍스트, 온톨로지, 논리, 일반 지식 등 다양한 지식 구조를 통합 관리할 수 있는 통합 프레임워크를 개발하기 위해.
• LKM 설계 및 평가를 위한 다섯 가지 'A' 프레임워크를 통해 신뢰할 수 있고 인간 중심의 AI를 위한 원칙적인 기반을 마련하기 위해.

제안 방법

• 대규모 지식 모델(LKM) 설계를 이끄는 다섯 가지 'A' 원칙 프레임워크를 제안: 강화된 사전학습, 진정성 있는 지식, 책임 있는 추론, 풍부한 커버리지, 지식과의 일치.
• 지식 그래프(KG)를 지식 증강 사전학습, 구조적 프롬프트, 지식 편집을 통해 LLM에 통합하여 사실 일관성을 향상시킨다.
• LLM을 지식 그래프의 제어자이자 구축자로 활용하여 자동 지식 추출, 추론, 동적 업데이트를 가능하게 한다.
• 사슬 추론(CoT)과 기호적 지식 기반을 결합하여 LLM의 추론 능력을 향상시키고 추적 가능하고 논리적인 추론 과정을 가능하게 한다.
• 지식 표현을 언어 모델 파rameter에서 분리하여 지식의 독립적 검증, 유지보수, 업그레이드를 가능하게 한다.
• 공유된 구조적 지식 기반과 LLM 기반 추론을 통해 AI 에이전트 간 지식 공유를 촉진하여 커버리지와 일관성을 확장한다.

Figure 1: Language, Knowledge, Language Models and Knowledge Graphs.

실험 결과

연구 질문

• RQ1 지식 그래프를 어떻게 효과적으로 대규모 언어 모델에 통합하여 사실 정확성과 추론 능력을 향상시킬 수 있는가?
• RQ2 기호적 표현과 신경망 표현을 통합하는 대규모 지식 모델(LKM)을 구축하기 위해 필요한 핵심 아키텍처 및 훈련 원칙은 무엇인가?
• RQ3 일반화 및 적응 능력을 유지하면서 LLM의 환각 현상을 어떻게 줄일 수 있는가?
• RQ4 LLM은 기존 지식 그래프 기술인 지식 추출, 질의, 추론을 어떻게 향상시킬 수 있는가?
• RQ5 대규모 지식 모델은 인간의 가치와 윤리적 지식과 어떻게 일치시켜 신뢰할 수 있고 책임 있는 AI를 확보할 수 있는가?

주요 결과

• 지식 증강 언어 모델링은 출력을 구조적 지식에 기반시킴으로써 LLM의 사실 일관성을 크게 향상시키고 환각 현상을 줄인다.
• 구조 유도 사전학습은 샘플 간 및 샘플 내 일관성을 향상시켜 더 신뢰할 수 있고 해석 가능한 모델 행동을 이끈다.
• LLM은 지식 그래프의 효과적인 제어자이자 구축자로 기능할 수 있으며, 스케일링 가능한 자동 지식 기반 구축과 동적 업데이트를 가능하게 한다.
• 기호적 추론을 LLM과 통합함으로써 책임 있고 추적 가능한 추론 과정을 가능하게 하여 신뢰성과 인간의 해석 가능성 향상을 이룬다.
• 지식 표현을 언어 모델 파rameter에서 분리함으로써 독립적 검증과 유지보수가 가능해져 진정성과 신뢰도가 향상된다.
• 다섯 가지 'A' 원칙은 커버리지, 일치성, 진정성, 추론 책임성의 균형을 이루는 종합적인 LKM 설계 프레임워크를 제공한다.

Figure 2: Five-“A” principle of LKM.