[논문 리뷰] BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models

Zican Dong, Tianyi Tang외 3명|arXiv (Cornell University)|2023. 09. 23.

Topic ModelingComputer Science인용 수 3

한 줄 요약

BAMBOO는 4k 및 16k 토큰 두 가지 길이 수준에서 다섯 가지 다양한 작업—질문 응답, 환각 탐지, 텍스트 정렬, 언어 모델링, 코드 완성—을 통해 대규모 언어 모델(Langauge Models, LLMs)의 장기 텍스트 모델링 능력을 평가하기 위해 설계된 종합적이고 다중 작업 기반 벤치마크이다. 데이터 오염 및 평가 정확성 문제를 해결하며, 현재 LLMs가 장기적 추론, 지시사항 준수, 낯선 작업에 대해 어려움을 겪고 있음을 드러내며, 입력 길이가 길어질수록 성능 저하가 발생하고, 미세조정된 도메인 외부로의 일반화 능력이 제한됨을 보여준다.

ABSTRACT

Large language models (LLMs) have achieved dramatic proficiency over NLP tasks with normal length. Recently, multiple studies have committed to extending the context length and enhancing the long text modeling capabilities of LLMs. To comprehensively evaluate the long context ability of LLMs, we propose BAMBOO, a multi-task long context benchmark. BAMBOO has been designed with four principles: comprehensive capacity evaluation, avoidance of data contamination, accurate automatic evaluation, and different length levels. It consists of 10 datasets from 5 different long text understanding tasks, i.e. question answering, hallucination detection, text sorting, language modeling, and code completion, to cover core capacities and various domains of LLMs. We conduct experiments with five long context models on BAMBOO and further discuss four key research questions of long text. We also qualitatively analyze current long context models and point out future directions for enhancing long text modeling capacities. We release our data, prompts, and code at https://github.com/RUCAIBox/BAMBOO.

연구 동기 및 목표

• 장기적 맥락을 갖춘 LLM을 평가하기 위한 신뢰할 수 있고 오염되지 않았으며 자동 평가가 가능한 벤치마크가 부족한 문제를 해결하기 위해.
• 다양한 도메인에서 장기적 의존성 모델링, 지식 활용, 추론, 도구 사용 능력에 대한 LLM의 능력을 종합적으로 평가하기 위해.
• 지시사항 무시, 형식 오류, 추론 실패 등 장기적 맥락 모델링의 핵심 과제를 특정하기 위해, 특히 낯선 작업에서 두드러지는 문제들을 분석하기 위해.
• 미래의 장기적 맥락 LLM 개발 연구를 지원할 수 있는 표준화되고 재현 가능한 평가 프레임워크를 제공하기 위해.

제안 방법

• BAMBOO는 질문 응답, 환각 탐지, 텍스트 정렬, 언어 모델링, 코드 완성 다섯 가지 핵심 작업에서 유래한 10개의 데이터셋을 구성하며, 각각 장기적 맥락 능력을 테스트하기 위해 설계되었다.
• 데이터셋은 2023년에 출시된 자료에서 수집하여 데이터 오염을 방지하고 평가의 무결성을 확보한다.
• 벤치마크는 두 가지 길이 수준을 포함한다: BAMBOO-4k(평균 2310 토큰) 및 BAMBOO-16k(평균 6586 토큰)으로, 길이에 따른 성능 분석이 가능하다.
• 정확성과 재현 가능성을 고려해 자동 평가 지표를 신중히 선택하여 인간 주석에 의존하지 않는다.
• 일반적인 LLM(예: ChatGPT, Vicuna)에 대해 맥락 압축 기법을 적용하여 네이티브 장기 맥락 모델과의 성능 비교를 수행한다.
• 지시사항 무시, 형식 오류, 추론 실패, 희귀 작업에서의 성능 등에 대해 정성적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 현재의 장기 맥락 LLM은 다양한 장기 텍스트 작업에서 어떻게 성능을 내며, 주요 실패 유형은 무엇인가?
• RQ2 입력 길이가 모델 성능에 어느 정도 영향을 미치며, 장기 맥락 적응이 짧은 맥락 성능에 악영향을 주는 '확장 세금(Extension Tax)' 현상이 존재하는가?
• RQ3 작업 지시사항이 장기 입력의 어디에 위치하느냐에 따라 모델의 준수 정도와 성능에 어떤 영향을 미치는가?
• RQ4 맥락 압축 기법이 표준 LLM의 장기 맥락 작업 성능을 효과적으로 향상시킬 수 있는가?
• RQ5 정확한 정보가 제공된 상태에서도 왜 LLM이 텍스트 정렬이나 코드 완성과 같은 비표준 작업에서 성능이 열등한가?

주요 결과

• ChatGPT-16k는 대부분의 BAMBOO 데이터셋에서 최고의 전체 성능를 기록했으며, 다른 모델들—특히 미세조정된 버전들—은 낯선 작업에서 심각한 성능 저하를 보였다.
• 입력 길이가 길어질수록 성능이 일반적으로 저하되며, 이는 장기 맥락 적응이 짧거나 단순한 입력에서의 성능을 떨어뜨리는 '확장 세금' 현상을 시사한다.
• 지시사항이 장기 입력의 시작 부분에 위치할 경우, 특히 작은 모델에서 치명적인 무시 현상이 발생하여 지시사항 유지 능력 부족이 원인이 된다.
• 맥락 압축 기법은 일부 작업(예: MeetingPred)에서는 성능 향상을 이끌어내지만, 다른 작업(예: SenHallu)에서는 성능 저하를 유발하는 경우가 많아 정보 보존 측면에서 상충 관계가 있음을 시사한다.
• 정확한 증거가 제공된 상태에서도 모델들이 추론 능력이 열악하여, 맥락 길이가 아닌 추론 능력의 한계가 주요 저해 요소임을 보여준다.
• 오픈소스 모델들은 질문 응답이나 대화와 같은 작업 외의 비대화형, 비질문 응답 작업(예: 텍스트 정렬, 코드 완성)에서 성능이 열등한데, 이는 미세조정 데이터 분포가 좁기 때문이다.