[논문 리뷰] Knowledge Conflicts for LLMs: A Survey

Rongwu Xu, Zehan Qi외 5명|arXiv (Cornell University)|2024. 03. 13.

Library Science and Information Systems인용 수 4

한 줄 요약

이 종합 검토는 대규모 언어 모델(Large Language Models, LLMs)의 지식 갈등을 체계적으로 분류하고 분석하며, 맥락-기억, 상호맥락, 내부기억 갈등의 세 가지 유형을 규명한다. 외부 및 매개변수 기반 지식 소스를 활용한 실제 응용에서 LLM의 강건성과 신뢰성 향상을 위한 종합적 프레임워크를 제공하기 위해, 갈등의 원인과 모델 출력에 미치는 영향을 분석하고 기존 해결책을 평가한다.

ABSTRACT

This survey provides an in-depth analysis of knowledge conflicts for large language models (LLMs), highlighting the complex challenges they encounter when blending contextual and parametric knowledge. Our focus is on three categories of knowledge conflicts: context-memory, inter-context, and intra-memory conflict. These conflicts can significantly impact the trustworthiness and performance of LLMs, especially in real-world applications where noise and misinformation are common. By categorizing these conflicts, exploring the causes, examining the behaviors of LLMs under such conflicts, and reviewing available solutions, this survey aims to shed light on strategies for improving the robustness of LLMs, thereby serving as a valuable resource for advancing research in this evolving area.

연구 동기 및 목표

• 사용자 맥락과 매개변수 기반 지식 간의 상호작용으로 발생하는 LLMs의 지식 갈등을 체계적으로 분류하고 분석하기 위해.
• 잡음이 있거나 오해의 소지가 있는 외부 자료원과 사전 훈련 데이터의 일관성 없는 내용 등 갈등의 근본 원인을 조사하기 위해.
• 다양한 갈등 유형에서 LLM의 행동, 특히 환각적 또는 모순되는 출력을 생성하는 방식을 분석하기 위해.
• 기존 갈등 완화 기법을 검토하고 평가하여 현재 접근법의 격차를 부각하기 위해.
• 미래 연구 방향, 예를 들어 설명 가능성, 多국어 처리, 다중모odal 갈등 해결을 포함하여 규명하기 위해.

제안 방법

• 이 검토는 세 가지 갈등 유형의 분류 체계를 제안한다: 맥락-기억 갈등(사용자 입력/검색된 맥락과 모델의 매개변수 기반 지식 간의 갈등), 상호맥락 갈등(여러 외부 맥락 자료원 간의 갈등), 내부기억 갈등(훈련 데이터의 일관성 문제로 인해 모델 자체의 매개변수 기반 지식 내에서 발생하는 갈등).
• 지식 갈등의 수명 주기를 분석하여 원인 촉발 요소(예: 잡음 있는 데이터, 모호한 프롬프트)와 모델 행동(예: 환각, 일관성 없는 응답)을 연결하는 핵심 요소로 삼는다.
• 기존 해결 기법을 검토하며, 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기법, 신뢰도 校정, 주의 헤드 분석(예: 파라미터 미세조정 없이 경로 패치를 통한 갈등 해결을 위한 PH3)을 포함한다.
• 갈등 해결 과정에서 주의 헤드나 뉴런 활성화와 같은 내부 모델 메커니즘의 미세 분석이 해석 가능성 향상에 필수적임을 강조한다.
• 프로이트 정신분석에 비유하여, 증상이 아닌 근본 원인을 이해함으로써 문제를 해결할 것을 주장한다.
• 미래 연구 방향으로 다국어 갈등 탐지, 다국어 지식 정렬, 텍스트, 시각, 청각 입력 간의 다중모달 갈등 해결을 제안한다.

실험 결과

연구 질문

• RQ1 외부 맥락 지식이 모델의 매개변수 기반 지식과 모순될 경우 맥락-기억 갈등은 어떻게 발생하는가?
• RQ2 여러 외부 자료원이 서로 모순되는 정보를 제공할 경우 상호맥락 갈등의 원인과 행동 양태는 무엇인가?
• RQ3 내부기억 갈등은 왜 LLM 내부에서 발생하며, 동일한 질문을 다른 표현으로 묻는 경우 응답 일관성에 어떤 영향을 미치는가?
• RQ4 지식 갈등은 실제 응용에서 환각 현상과 모델 신뢰성 감소에 어떻게 기여하는가?
• RQ5 현재 기법들의 한계는 무엇이며, 향후 연구를 통해 설명 가능성, 다국어 처리, 다중모달 통합을 통해 강건성을 어떻게 향상시킬 수 있는가?

주요 결과

• 지식 갈등은 특히 외부 맥락이 매개변수 기반 지식과 모순될 경우 LLM의 환각과 일관성 없는 출력의 주요 원인이다.
• 맥락-기억 갈등은 외부 맥락이 노이즈가 있거나 악성일 경우 모델의 응답을 오도할 수 있는 검색 증강 LLM에서 흔히 발생한다.
• 상호맥락 갈등은 여러 검색된 문서가 서로 모순되는 정보를 제공할 경우 모델의 추론에 불확실성을 증가시킨다.
• 내부기억 갈등은 훈련 데이터의 일관성 문제에서 기인하며, 의미적으로 동일한 질문에 대해 LLM이 다른 답변을 생성하게 만든다.
• 현재 기법들은 종종 가정된 사전 지식이나 히우리스틱 규칙에 의존하여 다양한 갈등 유형에 대한 세밀함과 일반화 능력에 결함이 있다.
• 최근 기법인 경로 패치를 통한 헤드 프루닝(Pruning Head via Path Patching, PH3)은 파라미터 업데이트 없이 주의 헤드 기여도를 분석함으로써 갈등 해결에 유망한 성과를 보이고 있다.