[論文レビュー] DomainRAG: A Chinese Benchmark for Evaluating Domain-specific Retrieval-Augmented Generation

Shuting Wang, Jiongnan Liu Shiren Song+7 more|arXiv (Cornell University)|Jun 9, 2024

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、大学進学を想定した分野特化型のシナリオにおける検索拡張生成（RAG）モデルを評価するための中国語ベンチマーク「DomainRAG」を紹介する。本研究では、会話理解、構造的分析、忠実性、ノイズ除去、時系列に依存する推論、複数文書間連携の6つの主要能力を、収集済みのHTMLおよびテキストコーパスを用いて評価し、優れたLLMですら、信頼できるRAG拡張なしでは専門分野のタスクに苦戦することを明らかにした。

ABSTRACT

Retrieval-Augmented Generation (RAG) offers a promising solution to address various limitations of Large Language Models (LLMs), such as hallucination and difficulties in keeping up with real-time updates. This approach is particularly critical in expert and domain-specific applications where LLMs struggle to cover expert knowledge. Therefore, evaluating RAG models in such scenarios is crucial, yet current studies often rely on general knowledge sources like Wikipedia to assess the models' abilities in solving common-sense problems. In this paper, we evaluated LLMs by RAG settings in a domain-specific context, college enrollment. We identified six required abilities for RAG models, including the ability in conversational RAG, analyzing structural information, faithfulness to external knowledge, denoising, solving time-sensitive problems, and understanding multi-document interactions. Each ability has an associated dataset with shared corpora to evaluate the RAG models' performance. We evaluated popular LLMs such as Llama, Baichuan, ChatGLM, and GPT models. Experimental results indicate that existing closed-book LLMs struggle with domain-specific questions, highlighting the need for RAG models to solve expert problems. Moreover, there is room for RAG models to improve their abilities in comprehending conversational history, analyzing structural information, denoising, processing multi-document interactions, and faithfulness in expert knowledge. We expect future studies could solve these problems better.

研究の動機と目的

• 検索拡張生成（RAG）モデルの専門的シナリオにおける分野特化型の評価ベンチマークが不足しているという問題に対処すること。
• 専門分野における有効なRAGのための不可欠な6つの能力（会話理解、構造的分析、忠実性、ノイズ除去、時系列に依存する推論、複数文書間連携）を特定・評価すること。
• 外部知識を用いて、現実世界の専門的応用である大学進学という文脈で、最先端のLLM（例：Llama、Baichuan、ChatGLM、GPT）のパフォーマンスを評価すること。
• 閉形式LLMの限界と、信頼できる専門知識の検索・生成のためのRAGの必要性を強調すること。
• 共有コーパスとデータセットを用いた再現可能で構造化されたベンチマークを提供し、分野特化型文脈におけるRAGシステムの標準的評価を可能にすること。

提案手法

• 中国の高等教育機関の公式大学進学Webページをクロールし、2種類のコーパス（生テキストおよびHTML構造付き文書）を構築した。
• RAGの特定能力を対象とした6つのサブデータセットを設計：会話型RAG、構造的情報分析、外部知識への忠実性、ノイズ除去、時系列問題解決、複数文書間連携。
• 同じ外部知識ベースを用いて、複数のLLM（Llama、Baichuan、ChatGLM、GPT）をRAG設定下で評価し、公平な比較を実現した。
• 制御されたノイズ設定（ノイズ数を変動）を導入し、不要な文書の影響がモデルのパフォーマンスと信頼度に与える影響を調査した。
• 閉形式設定、ゴールデンリファレンス、ノイズ混在リファレンスを比較するアブレーションスタディを実施し、モデルが外部知識にどれほど依存しているかを評価した。
• ゴールデンリファレンスとアンチリファレンスを用いて忠実性を評価し、モデルが提供された知識に基づいて正解を生成するか、自身の事前知識に依存するかを測定した。

実験結果

リサーチクエスチョン

• RQ1 既存のLLMは、大学進学を想定した分野特化型RAG設定において、閉形式推論と比較してどの程度の性能を示すか？
• RQ2 RAGモデルは、対話履歴をどの程度的確に理解し、複数回のやり取りにわたる文脈を維持できるか？
• RQ3 取得した文書内の構造的要素（例：HTMLフォーマット）は、モデルの関連情報抽出および推論能力にどのような影響を与えるか？
• RQ4 ノイズ混在または冗長な外部文書は、LLMの生成回答の信頼性および忠実性にどのような影響を与えるか？
• RQ5 知識が急速に変化する時系列に依存する質問に対して、RAGモデルは現在の情報と古くなった情報を区別できるか？

主な発見

• 閉形式LLMは、分野特化型の大学進学に関する質問に対して著しく性能を発揮できず、外部知識の取得が不可欠であることが確認された。
• RAGモデルは対話履歴の理解に限界を示しており、複数回のやり取りにおける文脈理解の向上の余地が大きいことが判明した。
• ノイズ除去の能力に課題があり、取得文書のノイズ量が増えるとパフォーマンスが低下する傾向にあるが、一部のモデルは参照文書の増加によって利益を享受した。
• 複数の参照（たとえノイズ混在であっても）は、単一参照または参照なしの設定と比較して、モデルの信頼度とパフォーマンスを向上させる効果があった。
• LLMは外部知識がなくてもしばしば正解を生成するため、自身の静的で古くなった知識に依存していることが示唆された。これは、外部ソースへの忠実性を高める必要がある重要な課題を示している。
• 専門知識への忠実性は依然として課題である：モデルはしばしば誤った情報やアンチリファレンスを拒否できず、適切な検証なしに外部データに過剰に依存するリスクがある。