[論文レビュー] BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models

Zican Dong, Tianyi Tang+3 more|arXiv (Cornell University)|Sep 23, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

BAMBOOは、5つの異なるタスク—質問応答、幻覚検出、テキストの並べ替え、言語モデリング、コード補完—を対象とし、4kおよび16kトークンの2つの長さレベルで、大規模言語モデル（LLMs）の長文モデリング能力を評価することを目的とした包括的でマルチタスクのベンチマークである。データの汚染と評価の正確性の問題に対処し、現在のLLMsが長文の推論、指示の従順性、および生じないタスクに対して苦戦していることが明らかになった。長文入力では性能が低下し、微調整済みドメインを超えた一般化能力も限定的である。

ABSTRACT

Large language models (LLMs) have achieved dramatic proficiency over NLP tasks with normal length. Recently, multiple studies have committed to extending the context length and enhancing the long text modeling capabilities of LLMs. To comprehensively evaluate the long context ability of LLMs, we propose BAMBOO, a multi-task long context benchmark. BAMBOO has been designed with four principles: comprehensive capacity evaluation, avoidance of data contamination, accurate automatic evaluation, and different length levels. It consists of 10 datasets from 5 different long text understanding tasks, i.e. question answering, hallucination detection, text sorting, language modeling, and code completion, to cover core capacities and various domains of LLMs. We conduct experiments with five long context models on BAMBOO and further discuss four key research questions of long text. We also qualitatively analyze current long context models and point out future directions for enhancing long text modeling capacities. We release our data, prompts, and code at https://github.com/RUCAIBox/BAMBOO.

研究の動機と目的

• 長文のLLMsを評価するための信頼性があり、汚染がなく、自動で評価可能なベンチマークの不足を解消すること。
• 多様なドメインにわたる、長距離依存関係モデリング、知識活用、推論、ツール利用の能力を包括的に評価すること。
• 指示の忘れ、フォーマットエラー、推論の不備を含む、長文モデリングにおける主な課題を特定すること。特に、なじみのないタスクにおいて顕著である。
• 今後の長文LLMs開発における研究を支援する標準的で再現可能な評価フレームワークを提供すること。

提案手法

• BAMBOOは、5つのコアタスク—質問応答、幻覚検出、テキストの並べ替え、言語モデリング、コード補完—から10のデータセットを構築し、それぞれが異なる長文モデリング能力をテストするように設計されている。
• データセットは2023年にリリースされたソースから構築されており、データ汚染を防ぎ、評価の整合性を保証している。
• ベンチマークには2つの長さレベルが含まれる：BAMBOO-4k（平均2310トークン）とBAMBOO-16k（平均6586トークン）、これにより長さ依存のパフォーマンス分析が可能である。
• 自動評価指標は正確性と再現可能性を考慮して慎重に選定されており、人的アノテーションに依存しない。
• 通常のLLMs（例：ChatGPT、Vicuna）に文脈圧縮技術を適用し、ネイティブの長文対応モデルとのパフォーマンス比較が可能である。
• 指示の忘れ、フォーマットエラー、推論の失敗、レアタスクにおけるパフォーマンスの観点から定性的分析が実施された。

実験結果

リサーチクエスチョン

• RQ1 現在の長文対応LLMsは、多様な長文タスクにおいてどのように動作するのか。また、その主な失敗モードは何か。
• RQ2 入力長がモデルのパフォーマンスにどの程度影響を与えるのか。長文対応のための適応が短文パフォーマンスに悪影響を与える「拡張税（extension tax）」は存在するのか。
• RQ3 タスクの指示を長文入力の途中に配置すると、モデルの従順性とパフォーマンスにどのような影響を与えるのか。
• RQ4 文脈圧縮技術は、標準的なLLMsの長文タスクにおけるパフォーマンスを効果的に向上させることができるのか。
• RQ5 正しい情報が提供されていても、なぜLLMsはテキストの並べ替えやコード補完といった非標準タスクで性能を発揮できないのか。

主な発見

• ChatGPT-16kは、BAMBOOの大部分のデータセットで最高の全体的パフォーマンスを示したが、他のモデル、特に微調整済みバージョンでは、なじみのないタスクで顕著なパフォーマンス低下が見られた。
• パフォーマンスは入力長の増加に伴い一般に低下しており、長文対応のための適応が短い入力や単純な入力のパフォーマンスを損なう「拡張税」が存在することを示している。
• 指示を長文入力の先頭に配置すると、特に小規模なモデルでは、指示の保持が不十分なため、深刻な忘れ（catastrophic forgetting）が発生する。
• 文脈圧縮技術は一部のタスク（例：MeetingPred）ではパフォーマンスを向上させるが、他のタスク（例：SenHallu）では結果が悪化する傾向がある。これは情報保持のトレードオフを示している。
• 正しい証拠が提供されていても、モデルは推論能力に著しく欠けることが判明しており、文脈長ではなく、推論の制限が主なボトルネックであることが示唆された。
• オープンソースモデルは、テキストの並べ替えやコード補完といった会話的でない、質問応答ではないタスクでパフォーマンスが低い。これは、微調整データの分布が狭いためである。