[論文レビュー] Financial Report Chunking for Effective Retrieval Augmented Generation

Antonio Jimeno Yepes, Yao You+3 more|arXiv (Cornell University)|Feb 5, 2024

Cloud Computing and Resource Management被引用数 16

ひとこと要約

この論文は、パラグラフやトークンベースのチャンクだけでなく、文書の構造要素によって財務報告をチャンク化することが、財務QAのRetrieval Augmented Generation（RAG）を改善することを評価し、要素ベースのチャンク化がより少ないチャンクで最高の検索と質問応答性能を生み出すことを示している。

ABSTRACT

Chunking information is a key step in Retrieval Augmented Generation (RAG). Current research primarily centers on paragraph-level chunking. This approach treats all texts as equal and neglects the information contained in the structure of documents. We propose an expanded approach to chunk documents by moving beyond mere paragraph-level chunking to chunk primary by structural element components of documents. Dissecting documents into these constituent elements creates a new way to chunk documents that yields the best chunk size without tuning. We introduce a novel framework that evaluates how chunking based on element types annotated by document understanding models contributes to the overall context and accuracy of the information retrieved. We also demonstrate how this approach impacts RAG assisted Question & Answer task performance. Our research includes a comprehensive analysis of various element types, their role in effective information retrieval, and the impact they have on the quality of RAG outputs. Findings support that element type based chunking largely improve RAG results on financial reporting. Through this research, we are also able to answer how to uncover highly accurate RAG.

研究の動機と目的

• 財務文書におけるRAGの前処理とチャンク作成を、文書構造を活用して改善する動機付け。
• Chipperを用いた文書理解モデルで、要素タイプベースのチャンク化を提案・評価する。
• FinanceBenchで異なるチャンク戦略が検索品質とQ&Aの正確さに与える影響を分析する。
• 要素ベースのチャンク化がインデックス作成の必要性を減らし、LLM生成の文脈品質を向上させることを示す。

提案手法

• WeaviateベクタDBと文を変換するエンコーダを用いたRAGパイプラインを記述し、チャンクをインデックス化する。
• Chipperを介して文書構造から導出された要素ベースのチャンク化を、基本的なトークンベースのチャンク化（128、256、512）と比較する。
• GPT-4を使ってメタデータを生成し、取得したチャンクから固定プロンプトで回答を作成する。
• FinanceBench上でチャンク戦略を評価し、ページレベルの検索精度と段落レベルのROUGE/BLEUを測定する。
• GPT-4自動評価と手動チェックでQ&Aの正確さを評価する。
• 戦略間でトークン数とインデックス効率を報告する。

実験結果

リサーチクエスチョン

• RQ1 文書構造によるチャンク化は、財務報告における検索とQ&Aでトークンベースのチャンク化を上回るか。
• RQ2 要素ベースのチャンク化が検索指標（ページレベル・段落レベル）とQ&Aの正確さに与える影響は何か。
• RQ3 複数のチャンク化手法を組み合わせて、チャンクサイズを調整せずに性能を向上させることができるか。
• RQ4 要素ベースのチャンク化は vectordb パイプラインのインデックス効率とトークン使用量にどう影響するか。

主な発見

Chunking strategy	Total Chunks	Page Accuracy	ROUGE	BLEU
Base 128	64,058	72.34	0.383	0.181
Base 256	32,051	73.05	0.433	0.231
Base 512	16,046	68.09	0.455	0.250
Base Aggregation	112,155	83.69	0.536	0.277
Keywords Chipper	20,843	46.10	0.444	0.315
Summary Chipper	20,843	62.41	0.473	0.350
Prefix & Table Description Chipper	20,843	67.38	0.514	0.400
Chipper Aggregation	62,529	84.40	0.568	0.452

• 要素ベースのチャンク化は、評価された手法の中で最も高い検索スコアと最も強力なQ&A精度を達成。
• 複数のチャンク化手法を組み合わせると、ページ検索でトップの84.4%を達成し、ROUGE(0.568)とBLEU(0.452)のスコアも高い。
• 要素ベースのチャンク化は、チャンクサイズのハイパーパラメータを調整せずに一般化でき、総チャンク数を非構造的手法の112,155に対して62,529に削減。
• 基本的な512トークンのチャンクは、文脈長の点でいくつかの要素ベースのチャンクと同様の性能だが、ROUGE/BLEUとQ&A品質では劣る。
• GPT-4自動評価は多くの場合手動QAと一致しており、RAG結果の自動評価の信頼性を示している。
• 本研究は、情報を構造化し要素タイプを用いることで、財務報告のRAG性能が向上することを検証している。