[논문 리뷰] NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities

Mo Li, Songyang Zhang외 4명|arXiv (Cornell University)|2024. 07. 16.

Natural Language Processing Techniques인용 수 4

한 줄 요약

NeedleBench는 4k에서 1M+ 토큰까지 다양한 길이와 깊이를 고려한 다국어(영어/중국어) 환경에서 장기적 맥락을 가진 LLM을 평가하기 위한 종합적인 벤치마크를 도입한다. 이는 복잡한 추론과 검색 능력을 테스트하기 위해 '조상의 흔적 도전'(ATC)을 제안하며, 심층적인 추론 능력이 요구되는 장기 맥락 환경에서조차 최신 기술 모델들도 심각한 어려움을 겪고 있음을 드러낸다. 이는 기본적인 검색 작업에서는 뛰어난 성능을 보임에도 불구하고 그렇다.

ABSTRACT

The capability of large language models to handle long-context information is crucial across various real-world applications. Existing evaluation methods often rely either on real-world long texts, making it difficult to exclude the influence of models' inherent knowledge, or introduce irrelevant filler content to artificially achieve target lengths, reducing assessment effectiveness. To address these limitations, we introduce NeedleBench, a synthetic framework for assessing retrieval and reasoning performance in bilingual long-context tasks with adaptive context lengths. NeedleBench systematically embeds key data points at varying depths to rigorously test model capabilities. Tasks are categorized into two scenarios: information-sparse, featuring minimal relevant details within extensive irrelevant text to simulate simple retrieval tasks; and information-dense (the Ancestral Trace Challenge), where relevant information is continuously distributed throughout the context to simulate complex reasoning tasks. Our experiments reveal that although recent reasoning models like Deepseek-R1 and OpenAI's o3 excel in mathematical reasoning, they struggle with continuous retrieval and reasoning in information-dense scenarios, even at shorter context lengths. We also characterize a phenomenon termed 'under-thinking', where models prematurely conclude reasoning despite available information. NeedleBench thus provides critical insights and targeted tools essential for evaluating and improving LLMs' long-context capabilities. All resources are available at OpenCompass: https://github.com/open-compass/opencompass.

연구 동기 및 목표

• 장기 맥락 평가 벤치마크가 실제 요구하는 다단계 추론 및 정보 통합 작업과의 괴리 문제를 해결하기 위해.
• 다양한 맥락 길이와 깊이 영역을 고려한 점진적 평가를 지원할 수 있는 확장성 있고 커스터마이징 가능한 벤치마크 프레임워크를 개발하기 위해.
• 장기 맥락 환경에서의 실제 복잡한 추론 작업을 대체로 사용할 수 있는 '조상의 흔적 도전'(ATC)을 도입하기 위해.
• 특히 높은 복잡도의 추론 조건에서 이중어(영어/중국어) 장기 맥락 이해 능력에서 최첨단 오픈소스 LLM의 성능을 평가하기 위해.
• 현재 모델의 지시 따르기 능력, 프롬프트 민감도, 장기 맥락 설정에서의 추론 강건성에 대한 핵심적 한계를 규명하기 위해.

제안 방법

• 4k, 8k, 32k, 128k, 200k, 1M 및 그 이상의 토큰 맥락에 걸쳐 전략적으로 삽입된 '바늘'(핵심 정보 포인트)을 포함한 다장치, 다심도의 벤치마크 프레임워크를 설계하기 위해.
• 장기 맥락에서의 복잡한 추론을 단순화된 대체로 사용하기 위해 '조상의 흔적 도전'(ATC)을 구현하여, 모델이 산재한 여러 사실 간의 논리적 의존성을 추적하도록 유도하기 위해.
• 프롬프트 위치(맥락 이전 또는 이후)를 변화시켜 제어 실험을 수행하여 모델의 민감도 및 지시 따르기 행동을 평가하기 위해.
• 핵심 정보 포인트의 수가 증가하는 다바늘 작업에서의 검색 성능을 평가하여 추론 및 기억력 강건성 테스트를 위해.
• 장기 맥락 능력의 이중어 평가를 보장하기 위해 영어 및 중국어 데이터셋을 사용하기 위해.
• 다양한 맥락 길이와 프롬프트 배치에서의 모델 행동을 분석하여 성능 저하 패턴과 민감도 문제를 규명하기 위해.

Figure 1: Our ATC test, even with a modest context length of 2K, reveals surprising limitations of these leading models in real-world complex long-context questions.

실험 결과

연구 질문

• RQ1 100만 토큰의 맥락에서 심하게 삽입된 단일 핵심 사실을 현재 LLM이 신뢰성 있게 검색할 수 있는가?
• RQ2 필요로 하는 검색 포인트의 수가 다바늘 추론 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 질문 프롬프트를 장기 맥락 이전 또는 이후에 놓는 것이 모델 성능에 상당한 영향을 미치는가?
• RQ4 모델의 추론 능력이 단순한 검색을 넘어서 복잡한 다단계 논리적 상황에서 일반화되는 정도는 어느 정도인가?
• RQ5 실제 장기 맥락 응용 프로그램에서 프롬프트 위치와 지시 표현 방식에 대해 장기 맥락 LLM이 얼마나 민감한가?

주요 결과

• 모든 최첨단 오픈소스 LLM이 2,000 토큰 이하의 맥락 길이에서도 '조상의 흔적 도전'(ATC)에서 심각한 성능 저하를 보이며, 다단계 추론 능력에 근본적인 약점을 드러낸다.
• 더 많은 바늘을 검색하도록 요청할수록 초기 바늘 검색 정확도가 오히려 향상되는 역설적인 현상이 나타나, 지시 따르기 능력의 열악함과 검색 능력 활용의 일관성 부족을 시사한다.
• 프롬프트 위치가 상당한 영향을 미친다: 질문 프롬프트를 맥락 이전에 두는 것은 일반적으로 성능 저하를 초래하지만, 일부 모델(예: InternLM2-7B-200K)은 특정 작업에서 조기 프롬프트 사용으로부터 이점을 얻는다.
• 모델의 검색 작업 성능이 추론 작업으로 일반화되지 않음을 확인하여, 고립된 사실 검색과 통합된 논리적 추론 사이에 근본적인 격차가 있음을 드러낸다.
• 현재 모델는 프롬프트 위치와 표현 방식에 매우 민감하여, 실세계 장기 맥락 환경에서의 추론 강건성이 떨어지는 것으로 나타났다.
• 기본적인 패스키 스타일 검색에서는 뛰어난 성능을 보였지만, 복잡한 다요소 추론 작업에서는 실패함으로써, 장기 맥락 능력이 아직 실생활 응용에 충분히 발전하지 못하고 있음을 드러낸다.

Figure 2: NeedleBench Framework