[論文レビュー] Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems

Philippe Laban, Alexander R. Fabbri+2 more|arXiv (Cornell University)|Jul 1, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

この論文では、繰り返し制御されたインサイトを文書に含む大規模なドキュメントコレクション（'Haystacks'）を合成することで、長文脈LMMおよびRAGシステムの評価を目的とした新規ベンチマークSummHayを紹介する。システムは関連するインサイトを要約し、正確に出典文書を引用しなければならない。評価では、オラクル検索を用いても、モデルの性能は人間の性能より10ポイント以上も低く、現在の長文脈推論および検索システムに顕著な制限があることが明らかになった。

ABSTRACT

LLMs and RAG systems are now capable of handling millions of input tokens or more. However, evaluating the output quality of such systems on long-context tasks remains challenging, as tasks like Needle-in-a-Haystack lack complexity. In this work, we argue that summarization can play a central role in such evaluation. We design a procedure to synthesize Haystacks of documents, ensuring that specific extit{insights} repeat across documents. The "Summary of a Haystack" (SummHay) task then requires a system to process the Haystack and generate, given a query, a summary that identifies the relevant insights and precisely cites the source documents. Since we have precise knowledge of what insights should appear in a haystack summary and what documents should be cited, we implement a highly reproducible automatic evaluation that can score summaries on two aspects - Coverage and Citation. We generate Haystacks in two domains (conversation, news), and perform a large-scale evaluation of 10 LLMs and corresponding 50 RAG systems. Our findings indicate that SummHay is an open challenge for current systems, as even systems provided with an Oracle signal of document relevance lag our estimate of human performance (56\%) by 10+ points on a Joint Score. Without a retriever, long-context LLMs like GPT-4o and Claude 3 Opus score below 20% on SummHay. We show SummHay can also be used to study enterprise RAG systems and position bias in long-context models. We hope future systems can equal and surpass human performance on SummHay.

研究の動機と目的

• 複雑な複数文書要約タスクにおける長文脈LMMおよびRAGシステムのための、堅牢で再現可能な評価の欠如に取り組むこと。
• Needle-in-a-Haystackのような既存のベンチマークが複雑さに欠け、最先端モデルを区別できないという限界を克服すること。
• 参照インサイトのカバレッジと引用正確性に基づく、スケーラブルで自動化された評価プロトコルを構築し、システム間の信頼性ある比較を可能にすること。
• 長文脈要約における人間の性能を推定し、10種類の閉鎖型LMMおよび50種類のRAGシステムを現実的およびオラクル検索条件の下でベンチマーク化すること。
• 位置バイアスや検索一般化の悪さといった、主な失敗モードを特定すること。

提案手法

• 会話およびニュースの2つのドメインで、特定のインサイトが100件の文書にわたって繰り返されるように制御されたデータ生成パイプラインを用いてHaystacksを合成すること。
• モデルが関連するインサイトをカバーし、正確な出典文書を引用する必要があるよう、出力の期待値を精確に制御したSummHayタスクを設計すること。
• 二重評価プロトコルの実装：高相互適合度（0.77）の手動アノテーションと、中程度の相関（0.71）でコストが50分の1のLLMベースの評価。
• 10のHaystacksを生成し、それぞれに約10のクエリを含め、合計92のSummHayタスクを構成。インサイトはサブトピックごとに分類され、出典文書が正確に追跡された。
• 標準およびオラクル検索設定の下で、10種類の閉鎖型LMMおよび50種類のRAGシステムを評価し、モデル性能と検索性能を分離すること。
• 自動指標と人間検証済みの基準要約の組み合わせを用いて、カバレッジと引用品質を測定し、総合的なパフォーマンスのための統合スコアを導出すること。

実験結果

リサーチクエスチョン

• RQ1 要約は、Needle-in-a-Haystackのような単純な検索タスクをはるかに超えて、長文脈LMMおよびRAGシステムの評価に堅牢で複雑なベンチマークとして機能できるか？
• RQ2 現在の長文脈LMMおよびRAGシステムは、正確なインサイトカバレッジと引用を要する複数文書要約タスクでどの程度のパフォーマンスを示すか？
• RQ3 オラクルリtrieverを含めることで、SummHayベンチマークにおけるシステムパフォーマンスはどの程度向上するか？
• RQ4 人間のパフォーマンスはSummHayタスクにおいてモデルパフォーマンスと比べてどの程度か？モデルはそれを超えることができるか？
• RQ5 位置バイアスや引用正確性の悪さといった、現在のシステムにおける主な失敗モードは何か？それらはパフォーマンスにどのように影響するか？

主な発見

• オラクル信号によって関連文書が特定されても、評価されたすべてのモデルが統合的カバレッジおよび引用スコアで56％未満にとどまり、推定された人間のパフォーマンスより10ポイント以上も低かった。
• GPT-4o や Claude 3 Opus といった長文脈LMMは、リtrieverなしではSummHayで20％未満のスコアにとどまり、長文脈における推論に顕著な課題があることが示された。
• LLMベースの評価手法は人間の判断と0.71の相関を示し、手動アノテーションに比べてコスト効率に優れた代替手段を提供した。
• 手動評価プロトコルはアノテーター間で高い再現性を示し、0.77の相互適合度を達成しており、ベンチマークの信頼性を裏付けた。
• 位置バイアスと引用正確性の悪さが、特に検索なしの長文脈モデルにおいて主な失敗モードとして特定された。
• ベンチマークは、現在のRAGシステムおよびLMMが、最適な検索条件下でもカバレッジと引用の正確性の両方で困難を抱えていることを明らかにした。これは、長文脈AI分野における主要な未解決課題を示している。