[논문 리뷰] Augmenting LLMs with Knowledge: A survey on hallucination prevention

Κωνσταντίνος Ανδριόπουλος, Johan Pouwelse|arXiv (Cornell University)|2023. 09. 28.

Topic Modeling인용 수 9

한 줄 요약

외부 지식을 검색하고 융합하여 환각을 줄이는 지식 보강 언어 모델에 대한 고찰로, 검색, 융합, 및 검색 기반 보강 접근법을 다룬다.

ABSTRACT

Large pre-trained language models have demonstrated their proficiency in storing factual knowledge within their parameters and achieving remarkable results when fine-tuned for downstream natural language processing tasks. Nonetheless, their capacity to access and manipulate knowledge with precision remains constrained, resulting in performance disparities on knowledge-intensive tasks when compared to task-specific architectures. Additionally, the challenges of providing provenance for model decisions and maintaining up-to-date world knowledge persist as open research frontiers. To address these limitations, the integration of pre-trained models with differentiable access mechanisms to explicit non-parametric memory emerges as a promising solution. This survey delves into the realm of language models (LMs) augmented with the ability to tap into external knowledge sources, including external knowledge bases and search engines. While adhering to the standard objective of predicting missing tokens, these augmented LMs leverage diverse, possibly non-parametric external modules to augment their contextual processing capabilities, departing from the conventional language modeling paradigm. Through an exploration of current advancements in augmenting large language models with knowledge, this work concludes that this emerging research direction holds the potential to address prevalent issues in traditional LMs, such as hallucinations, un-grounded responses, and scalability challenges.

연구 동기 및 목표

• LLM에서의 환각과 지식 한계를 해결하기 위한 외부 지식 통합의 필요성을 제시한다.
• 비구조적 및 구조화된 소스를 포함하여 LLM을 위한 외부 지식 보강 기술을 조사하고 분류한다.
• 회수(retrieval), 메모리 보강, 회수된 콘텐츠의 생성과의 융합을 가능하게 하는 핵심 아키텍처를 설명한다.
• 메모리 업데이트, 효율성, 안전성 등 지식 보강 LLM에서의 도전과제를 강조한다.

제안 방법

• retrieval-augmented generation (RAG)와 fusion-in-decoder (FiD) 아키텍처를 설명하고 비교한다.
• REALM 스타일의 공동 검색기-생성기 사전학습과 그 학습 역학을 설명한다.
• Atlas, RETRO, GRAFT-Net, PullNet를 구조화된 지식 통합과 멀티홉 QA의 예로 자세히 설명한다.
• 실시간 웹 정보를 활용하는 접근법으로서 검색 엔진 보강 생성 및 SeeKeR를 논의한다.
• 구조화된 지식 그래프를 위한 그래프 기반 및 트리플스토어 접근법(GCN/Relational GCN)을 요약한다.

Figure 1: Overview of knowledge augmentation of language models from the paper by Izacard et al. [ 7 ] . The input query (light yellow), along with a number of retrieved relevant documents (light blue), passes through the generative seq2seq model to produce an output response.

실험 결과

연구 질문

• RQ1 외부 지식으로 LLM을 보강하기 위한 주요 아키텍처 패러다임은 무엇인가?
• RQ2 회수 및 융합 메커니즘이 생성된 콘텐츠의 사실성 및 근거성에 어떤 영향을 미치는가?
• RQ3 매개 지식 저장(parametric)과 비매개 외부 기억(non-parametric) 간의 트레이드오프는 무엇인가?
• RQ4 구조화된 지식 그래프, 트리플스토어, 텍스트 말뭉치가 멀티홉 추론 및 QA에 어떻게 기여하는가?
• RQ5 지식 보강 LLM의 업데이트, 확장성, 안전성 및 원천성(provenance)에서의 개방형 도전과제는 무엇인가?

주요 결과

• 비구조적 텍스트에서 구조화된 그래프에 이르는 지식 보강 전략의 스펙트럼을 식별한다.
• 회수 보강 모델이 매개적 메모리에 대한 의존을 줄이고 근거성을 향상시킬 수 있음을 보여준다.
• 검색기와 생성기를 공동으로 학습시켜 검색 품질과 최종 태스크 성능을 향상시키는 방법을 강조한다.
• 회수된 콘텐츠를 통합하기 위한 다양한 융합 전략(RAG 스타일, FiD, FiD 유사한 연결)의 이점과 한계를 논의한다.
• 검색 엔진과 같은 외부 지식 소스를 사용할 때 확장성, 실시간 업데이트 및 안전성의 중요성을 지적한다.

Figure 2: Overview of the Fusion-in-Decoder (FiD) [ 7 ] technique. The input question gets concatenated with each relevant passage and all concatenations get encoded in parallel. The embeddings that are produced are concatenated together (fusion) and are passed as input to the decoder.