[논문 리뷰] Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems

Philippe Laban, Alexander R. Fabbri외 2명|arXiv (Cornell University)|2024. 07. 01.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 논문은 대규모 문서 컬렉션('헤이스타크')을 합성하여 반복적이고 통제 가능한 통찰이 문서 간에 존재하도록 함으로써, 장문의 컨텍스트를 갖는 LLM 및 RAG 시스템을 평가하기 위한 새로운 벤치마크인 SummHay를 소개한다. 시스템은 관련 통찰을 요약하고 정확히 소스 문서를 인용해야 한다. 평가 결과, 오라클 검색을 사용하더라도 모델의 연합 커버리지 및 인용 점수는 인간 성능보다 10점 이상 떨어지며, 현재의 장문 컨텍스트 추론 및 검색 시스템에 심각한 한계가 있음을 드러낸다.

ABSTRACT

LLMs and RAG systems are now capable of handling millions of input tokens or more. However, evaluating the output quality of such systems on long-context tasks remains challenging, as tasks like Needle-in-a-Haystack lack complexity. In this work, we argue that summarization can play a central role in such evaluation. We design a procedure to synthesize Haystacks of documents, ensuring that specific extit{insights} repeat across documents. The "Summary of a Haystack" (SummHay) task then requires a system to process the Haystack and generate, given a query, a summary that identifies the relevant insights and precisely cites the source documents. Since we have precise knowledge of what insights should appear in a haystack summary and what documents should be cited, we implement a highly reproducible automatic evaluation that can score summaries on two aspects - Coverage and Citation. We generate Haystacks in two domains (conversation, news), and perform a large-scale evaluation of 10 LLMs and corresponding 50 RAG systems. Our findings indicate that SummHay is an open challenge for current systems, as even systems provided with an Oracle signal of document relevance lag our estimate of human performance (56\%) by 10+ points on a Joint Score. Without a retriever, long-context LLMs like GPT-4o and Claude 3 Opus score below 20% on SummHay. We show SummHay can also be used to study enterprise RAG systems and position bias in long-context models. We hope future systems can equal and surpass human performance on SummHay.

연구 동기 및 목표

• 복잡한 다중 문서 요약 작업에서 장문의 컨텍스트 LLM 및 RAG 시스템에 대한 강력하고 재현 가능한 평가의 부족을 해결하기 위해.
• Needle-in-a-Haystack과 같은 기존 벤치마크는 복잡성이 부족하고 최첨단 모델 간의 차이를 구분하지 못하므로 이를 극복하기 위해.
• 참고 통찰의 커버리지와 인용 정확도 기반으로 확장 가능하고 자동화된 평가 프로토콜을 개발하여 시스템 간 신뢰성 있는 비교를 가능하게 하기 위해.
• 장문의 컨텍스트 요약 작업에서 인간 성능을 추정하고, 표준 및 오라클 검색 조건 하에서 10개의 LLM 및 50개의 RAG 시스템을 벤치마크하기 위해.
• 장문 컨텍스트 모델에서의 위치 편향 및 열악한 검색 일반화와 같은 핵심 실패 유형을 특정하기 위해.

제안 방법

• 대화 및 뉴스 두 도메인에서 100개의 문서에 걸쳐 특정 통찰이 반복되도록 제어된 데이터 생성 파이프라인을 사용해 헤이스타크를 합성한다.
• 모델이 관련 통찰을 커버하고 정확한 소스 문서를 인용하도록 요구하는 SummHay 작업을 설계하며, 예상 출력에 대해 정밀한 제어를 구현한다.
• 이중 평가 프로토콜을 구현: 고상호평가자 일致도(0.77)를 보인 수동 주석 처리와 중간 상관도(0.71)를 보이고 비용이 50배 낮은 LLM 기반 평가.
• 10개의 헤이스타크를 생성하였으며, 각각 약 10개의 질의를 포함하여 총 92개의 SummHay 작업을 구성하였고, 통찰은 하위 주제별로 분류되며 소스 문서는 정확히 추적된다.
• 표준 및 오라클 검색 설정 하에서 10개의 비공개 LLM 및 50개의 RAG 시스템을 평가하여 모델 성능와 검색 성능을 분리한다.
• 자동 평가 지표와 인간 검증 기반 기준 요약을 조합하여 커버리지 및 인용 품질을 측정하고, 종합적인 성능을 평가하기 위한 연합 점수를 사용한다.

실험 결과

연구 질문

• RQ1 요약 작업은 Needle-in-a-Haystack와 같은 단순 검색 작업을 넘어서, 장문의 컨텍스트 LLM 및 RAG 시스템을 평가하기 위한 강력하고 복잡한 벤치마크로 기능할 수 있는가?
• RQ2 현재의 장문 컨텍스트 LLM 및 RAG 시스템은 정확한 통찰 커버리지 및 인용을 요구하는 다중 문서 요약 작업에서 어떻게 성능을 내는가?
• RQ3 오라클 검색기의 포함이 SummHay 벤치마크에서 시스템 성능을 얼마나 향상시키는가?
• RQ4 인간 성능은 SummHay 작업에서 모델 성능와 비교해 볼 때 어떻게 되며, 모델이 이를 뛰어넘을 수 있는가?
• RQ5 장문 컨텍스트 모델에서의 위치 편향이나 낮은 인용 정확도와 같은 핵심 실패 유형은 무엇이며, 성능에 어떤 영향을 미치는가?

주요 결과

• 오라클 신호로 관련 문서를 정확히 식별하더라도, 평가된 모든 모델의 연합 커버리지 및 인용 점수는 56% 이하에 머물렀으며, 인간 성능보다 10점 이상 뒤져 있었다.
• GPT-4o 및 Claude 3 Opus와 같은 장문 컨텍스트 LLM은 검색기 없이 SummHay에서 20% 이하의 점수를 기록하여 장문 컨텍스트에서의 추론에 심각한 과제가 있음을 시사한다.
• LLM 기반 평가 방법은 인간 평가와 0.71의 상관도를 보였으며, 수동 주석 처리보다 비용이 50배 낮아 비용 효율적인 대안을 제공한다.
• 수동 평가 프로토콜은 평가자 간 높은 재현성을 보였으며, 상호평가자 상관계수 0.77를 기록하여 벤치마크의 신뢰성을 검증하였다.
• 위치 편향과 낮은 인용 정확도는 장문 컨텍스트 모델에서의 핵심 실패 유형으로 특정되었으며, 특히 검색기가 없는 경우 두드러졌다.
• 벤치마크는 현재의 RAG 시스템과 LLM이 최적의 검색 조건에서도 커버리지 및 인용 정밀도에서 어려움을 겪고 있음을 드러내며, 장문 컨텍스트 AI 분야에서 여전히 큰 열린 과제임을 강조한다.