[논문 리뷰] Financial Report Chunking for Effective Retrieval Augmented Generation

Antonio Jimeno Yepes, Yao You외 3명|arXiv (Cornell University)|2024. 02. 05.

Cloud Computing and Resource Management인용 수 16

한 줄 요약

이 논문은 문서 구조 요소(단락이나 토큰 기반 청크뿐만 아니라 구조적 요소)에 따라 금융 보고서를 분할하는 방식이 금융 QA의 Retrieval Augmented Generation(RAG)을 어떻게 향상시키는지 평가하며, 요소 기반 청크가 더 적은 수의 청크로 최상의 검색 및 Q&A 성능을 낸다는 것을 보여준다.

ABSTRACT

Chunking information is a key step in Retrieval Augmented Generation (RAG). Current research primarily centers on paragraph-level chunking. This approach treats all texts as equal and neglects the information contained in the structure of documents. We propose an expanded approach to chunk documents by moving beyond mere paragraph-level chunking to chunk primary by structural element components of documents. Dissecting documents into these constituent elements creates a new way to chunk documents that yields the best chunk size without tuning. We introduce a novel framework that evaluates how chunking based on element types annotated by document understanding models contributes to the overall context and accuracy of the information retrieved. We also demonstrate how this approach impacts RAG assisted Question & Answer task performance. Our research includes a comprehensive analysis of various element types, their role in effective information retrieval, and the impact they have on the quality of RAG outputs. Findings support that element type based chunking largely improve RAG results on financial reporting. Through this research, we are also able to answer how to uncover highly accurate RAG.

연구 동기 및 목표

• 문서 구조를 활용하여 금융 문서에서 RAG의 사전 처리 및 청크화를 개선하려는 동기를 제시한다.
• 문서 이해 모델을 사용한 요소-타입 기반 청크화를 제안하고 평가한다.
• FinanceBench에서 서로 다른 청크화 전략이 검색 품질과 Q&A 정확도에 미치는 영향을 분석한다.
• 요소 기반 청크화가 인덱싱 필요를 줄이면서 LLM 생성을 위한 맥락 품질을 향상시킨다는 것을 보여준다.

제안 방법

• Weaviate 벡터 DB와 문장 변환기 인코더를 사용한 RAG 파이프라인을 설명하여 청크를 인덱싱한다.
• 토큰 기반 청크(128, 256, 512)와 문서 구조를 통한 요소 기반 청크를 비교한다(Chipper를 통해 파생).
• 메타데이터를 생성하고 고정 프롬프트를 사용해 검색된 청크에서 답을 생성하기 위해 GPT-4를 사용한다.
• 페이지 수준 검색 정확도와 단락 수준 검색을 위한 ROUGE/BLEU로 FinanceBench에서 청크화 전략을 평가한다.
• GPT-4 자동 평가와 수작업 확인을 통해 Q&A 정확도를 측정한다.
• 전략 간 토큰 수와 인덱싱 효율성을 보고한다.

실험 결과

연구 질문

• RQ1 문서 구조에 의한 청크가 금융 보고서에서 검색 및 Q&A에 대해 토큰 기반 청크를 능가하는가?
• RQ2 요소 기반 청크가 검색 지표(페이지 및 단락 수준) 및 Q&A 정확도에 미치는 영향은 무엇인가?
• RQ3 여러 청크화 방법을 결합하면 청크 크기를 조정하지 않고도 성능을 향상시킬 수 있는가?
• RQ4 요소 기반 청크가 벡터DB 파이프라인의 인덱싱 효율성과 토큰 사용에 어떤 영향을 미치는가?

주요 결과

청크 분할 전략	총 청크	페이지 정확도	ROUGE	BLEU
Base 128	64,058	72.34	0.383	0.181
Base 256	32,051	73.05	0.433	0.231
Base 512	16,046	68.09	0.455	0.250
Base Aggregation	112,155	83.69	0.536	0.277
Keywords Chipper	20,843	46.10	0.444	0.315
Summary Chipper	20,843	62.41	0.473	0.350
Prefix & Table Description Chipper	20,843	67.38	0.514	0.400
Chipper Aggregation	62,529	84.40	0.568	0.452

• 요소 기반 청크가 평가된 방법 중에서 가장 높은 검색 점수와 가장 강한 Q&A 정확도를 달성한다.
• 여러 청크화 방법을 결합하면 상위 페이지 검색(84.4%) 및 강력한 ROUGE(0.568)와 BLEU(0.452) 점수를 얻는다.
• 요소 기반 청크는 청크 크기 하이퍼파라미터를 조정하지 않고도 일반화되며 전체 청크 수를 줄인다(62,529) vs 비구조적 방법(112,155).
• 기본 512토큰 청크는 맥락 길이 측면에서 일부 요소 기반 청크와 비슷하게 작동하지만 ROUGE/BLEU 및 Q&A 품질에서는 뒤처진다.
• GPT-4 자동 평가가 대부분의 경우 수작업 QA와 일치하여 RAG 결과에 대한 자동 평가의 신뢰성을 강조한다.
• 구조화된 정보와 요소 타입의 사용이 금융 보고서의 RAG 성능을 개선한다는 것을 이 연구가 입증한다.