[논문 리뷰] Resolving Knowledge Conflicts in Large Language Models

Yike Wang, Shangbin Feng외 5명|arXiv (Cornell University)|2023. 10. 02.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 내부 파rametric 지식(내부 가중치)과 외부 정보(비파라미터릭 컨텍스트) 간의 지식 충돌을 얼마나 잘 감지하고 처리하는지 평가하기 위한 종합적인 평가 프레임워크인 Knowledge Conflict를 소개한다. 이 프레임워크는 LLMs의 세 가지 핵심 능력을 평가한다: 충돌 감지, 충돌 세그먼트의 국소화, 그리고 구분된 답변 생성. 실험 결과, LLMs는 충돌 감지에서는 잘 수행하지만, 충돌을 정확히 특정 위치로 국소화하거나 다릅니다. 답변을 생성하는 데에는 어려움을 겪는 것으로 나타났으며, 이에 따라 저자들은 이러한 작업에서 성능을 크게 향상시키는 지시 기반 방법을 제안한다.

ABSTRACT

Large language models (LLMs) often encounter knowledge conflicts, scenarios where discrepancy arises between the internal parametric knowledge of LLMs and non-parametric information provided in the prompt context. In this work we ask what are the desiderata for LLMs when a knowledge conflict arises and whether existing LLMs fulfill them. We posit that LLMs should 1) identify knowledge conflicts, 2) pinpoint conflicting information segments, and 3) provide distinct answers or viewpoints in conflicting scenarios. To this end, we introduce KNOWLEDGE CONFLICT, an evaluation framework for simulating contextual knowledge conflicts and quantitatively evaluating to what extent LLMs achieve these goals. KNOWLEDGE CONFLICT includes diverse and complex situations of knowledge conflict, knowledge from diverse entities and domains, two synthetic conflict creation methods, and settings with progressively increasing difficulty to reflect realistic knowledge conflicts. Extensive experiments with the KNOWLEDGE CONFLICT framework reveal that while LLMs perform well in identifying the existence of knowledge conflicts, they struggle to determine the specific conflicting knowledge and produce a response with distinct answers amidst conflicting information. To address these challenges, we propose new instruction-based approaches that augment LLMs to better achieve the three goals. Further analysis shows that abilities to tackle knowledge conflicts are greatly impacted by factors such as knowledge domain and prompt text, while generating robust responses to knowledge conflict scenarios remains an open research question.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 내부 파라미터 지식과 외부 컨텍스트 간의 지식 충돌을 적절히 인식하고 대응할 수 있는지 조사하는 것.
• 충돌 상황에서 LLMs가 가져야 할 세 가지 핵심 바람직한 특성인 충돌 존재 감지, 충돌 세그먼트 국소화, 그리고 구분된 답변 생성을 정의하고 평가하는 것.
• 특히 특정 충돌을 정확히 특정하고, 서로 다른 응답을 생성하는 데 어려움을 겪는 현재 LLM 행동의 한계를 규명하는 것.
• 지식 충돌을 효과적으로 다룰 수 있도록 도와주는 지시 기반 프롬프팅 전략을 제안하고 평가하는 것.
• LLMs의 지식 충돌 대응 능력을 체계적으로 평가하기 위한 벤치마크 프레임워크를 수립하는 것.

제안 방법

• Knowledge Conflict 프레임워크는 10,000개 엔티티로 구성된 데이터셋에서 추출한 20개 도메인과 200개 주제 분야에 걸쳐 다양한 엔티티를 활용하여 컨텍스트 기반 지식 충돌을 시뮬레이션한다.
• 두 가지 합성 충돌 생성 방법을 통해 특정 프롬프트에 맞게 파라미터 지식과 외부 컨텍스트 간의 충돌 지식 쌍을 생성한다.
• 점차 복잡도가 높아지는 세 가지 평가 작업을 정의한다: (1) 컨텍스트 기반 지식 충돌 감지, (2) QA-스팬 지식 충돌 감지, (3) 구분된 답변 생성.
• 충돌 작업에서 LLM의 추론 능력을 향상시키기 위해 체인 오브 톰(Chain-of-Thought, CoT), 세프어시크( self-ask), GKP(Generate and Keep Prompting), 그리고 새로운 'Ours' 방법을 포함한 지시 기반 프롬프팅 전략을 도입한다.
• 프레임워크는 제로샷, 피샷, 피샷 + CoT 프롬프팅을 사용하며, 테스트 입력에서 컨텍스트, 질문, 지식에 대한 자리표시자를 동적으로 교체한다.
• GPT-3.5-turbo 등의 모델을 대상으로 실험을 수행하였으며, 정량적 지표와 정성적 분석을 통해 다양한 작업에서의 성능을 평가하였다.

Figure 1: We expect LLMs to 1) acknowledge knowledge conflicts, 2) point out the specific conflicting segments, and 3) generate different answers based on conflicting pieces of information.

실험 결과

연구 질문

• RQ1 LLMs는 파라미터 지식과 비파라미터 컨텍스트 간의 지식 충돌 존재 여부를 신뢰성 있게 감지할 수 있는가?
• RQ2 LLMs는 지식 충돌이 발생한 컨텍스트 내에서 특정 세그먼트를 얼마나 정확히 국소화할 수 있는가?
• RQ3 LLMs는 충돌 정보를 바탕으로 서로 다른, 맥락에 기반한 답변을 생성할 수 있는가, 아니면 한쪽 자료에만 의존하는가?
• RQ4 지식 도메인과 프롬프트 구조 등의 요소가 LLMs의 지식 충돌 처리 성능에 어떤 영향을 미치는가?
• RQ5 지시 기반 프롬프팅 전략이 LLMs의 지식 충돌 해결 능력을 상당히 향상시킬 수 있는가?

주요 결과

• LLMs는 충돌 존재 감지에서 무작위 기반선을 상회하는 성능을 보이며, 충돌 존재에 대한 기본적인 인식 능력을 지닌 것으로 나타났다.
• 특정 충돌 세그먼트를 정확히 특정하는 데서 성능이 크게 떨어져, 컨텍스트 내에서 차이점을 국소화하는 데 어려움을 겪는 것으로 나타났다.
• 충돌 정보를 바탕으로 서로 다른 답변을 생성하는 데서 LLMs는 어려움을 겪으며, 일반적으로 한 출처에 의존하거나 일관성 없는 응답을 생성하는 경향이 있다.
• 제안된 지시 기반 방법—특히 Self-ask와 Ours—는 충돌 감지 및 구분된 답변 생성 작업에서 성능을 상당히 향상시켰다.
• 지식 도메인과 프롬프트 구조는 LLM 행동에 측정 가능한 영향을 미치며, 다양한 종류의 충돌 지식에서 성능이 달라지는 것으로 나타났다.
• 적절한 프롬프팅을 통해 개선되었음에도 불구하고, 지식 충돌의 강건하고 신뢰할 수 있는 처리 능력은 여전히 열려 있는 연구 과제이다.

Figure 2: We introduce the Knowledge Conflict framework to comprehensively analyze and improve LLMs’ handling of knowledge conflicts. The framework handles concrete spans where knowledge conflicts arise, and facilitates meaningful outputs, granting its users the agency to find appropriate responses