[論文レビュー] Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation

Gauthier Guinet, Behrooz Omidvar-Tehrani+2 more|arXiv (Cornell University)|May 22, 2024

Topic Modeling被引用数 6

ひとこと要約

本論文は、項目反応理論（IRT）を用いてタスク特異的な正確性を測定し、RAG設計の選択を導く検索強化型LLM（RAG）向けの自動試験ベース評価フレームワークを提案する。

ABSTRACT

We propose a new method to measure the task-specific accuracy of Retrieval-Augmented Large Language Models (RAG). Evaluation is performed by scoring the RAG on an automatically-generated synthetic exam composed of multiple choice questions based on the corpus of documents associated with the task. Our method is an automated, cost-efficient, interpretable, and robust strategy to select the optimal components for a RAG system. We leverage Item Response Theory (IRT) to estimate the quality of an exam and its informativeness on task-specific accuracy. IRT also provides a natural way to iteratively improve the exam by eliminating the exam questions that are not sufficiently informative about a model's ability. We demonstrate our approach on four new open-ended Question-Answering tasks based on Arxiv abstracts, StackExchange questions, AWS DevOps troubleshooting guides, and SEC filings. In addition, our experiments reveal more general insights into factors impacting RAG performance like size, retrieval mechanism, prompting and fine-tuning. Most notably, our findings show that choosing the right retrieval algorithms often leads to bigger performance gains than simply using a larger language model.

研究の動機と目的

• ドメイン固有コーパスに対して、グラウンドトゥースデータセットなしでRAGのタスク特異的な正確性を評価する。
• LLM、検索、インコンテキスト学習などのコンポーネント選択を導く、拡張性が高く解釈可能な評価フレームワークを提供する。
• 試験の情報性とコンポーネント寄与が、タスクや検索戦略によってどのように変化するかを示す。

提案手法

• 事前学習済みの LLM を用いてタスクコーパスから自動的にマルチプルチョイス試験を生成する。
• 問題の品質と識別力を高めるために、事前フィルタリングと事後フィルタリングを適用する。
• 試験問題に解答することで RAG パイプラインを評価し、正確性を算出する。
• 階層的な項目反応理論（IRT）モデルを用いて、能力を（LLM、検索、インコンテキスト学習）コンポーネントに分解する。
• 項目パラメータ（g_i、d_i、b_i）と問題レベルの情報性を推定して試験の重みづけを行う。
• Fischer情報量とBloomの分類学を用いて、情報性の高い試験を反復的に最大化する。

Figure 1: Granular results of our exam evaluation for the task of AWS DevOps troubleshooting. Accuracy is reported for different retrieval approaches and retriever sizes, on a % scale. Labels on the diameter shows the troubleshooting categories, i.e., AWS resources. Colors correspond to different re

実験結果

リサーチクエスチョン

• RQ1 グラウンドトゥースラベルを用いずに、RAGシステムのタスク特異的な正確さを自動的に評価するにはどうすればよいか？
• RQ2 多様なドメインにおいて、どの検索戦略とLLMサイズが最良のタスク特異的パフォーマンスをもたらすか？
• RQ3 項目反応理論（IRT）は、RAGの評価と設計判断の解釈と改善にどのように役立つか？
• RQ4 RAGの性能を左右する要因（検索方法、モデルのサイズ、 prompting）とは何か、そして試験を情報性の最適化のためにどう設計できるか？

主な発見

Best Absolute Accuracy in %	Retrieval	t_ops	t_stk	t_arx	t_sec	Avg.
52.2	ClosedB	48.6	54.5	49.5	51.2
45.5	SIAM	50.0	57.0	47.6	50.0
52.2	DPR	58.3	60.3	60.5	57.8
58.0	BM25	60.4	69.5	55.3	60.8
57.7	MultiQA	72.2	69.5	53.6	63.2
55.1	DPRV2	70.1	69.4	63.9	64.6
63.8	Oracle	74.3	68.6	70.9	69.4

• 検索方法の選択は、単にLLMのサイズを大きくするよりも重要であることが多く、いくつかのタスクでは検索バリアント（例: BM25、MultiQA、DPRV2）からの恩恵が大きい。
• ハイブリッド検索モデルは、単一の手法のリトリーバーよりも、一般にタスク間でより頑健性と適応性を高める。
• クローズドソースの知識はLLM主導であり、事前学習時の機密性制限により検索品質が性能を制限する。
• 不適合なリトリーバーは、 retrieval を使わない場合（ClosedB）よりも性能が低いことがあり、リトリーバーとタスクの適合性の重要性を浮き彫りにする。
• IRTベースのコンポーネント分解は、タスクを横断した全体性能に対するLLM、検索、インコンテキスト学習の相対寄与を明らかにする。
• Fischer情報量とBloomの分類学を用いた試験の情報性分析は、試験品質を診断し、反復的に改善するのに役立つ。

Figure 2: Representation of Bloom’s revised taxonomy. The cognitive complexity of skills increase from the bottom to the top of the pyramid. Source: Vanderbilt University Center for Teaching,