[論文レビュー] VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents

Yu Shi, Chaoyue Tang+9 more|arXiv (Cornell University)|Oct 14, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

VisRAGは、ドキュメント画像を直接視覚言語モデル（VLM）ベースのリtrieverおよびジェネレータの入力として使用することで、テキスト解析を回避する視覚ベースのリtrieval-augmented generationフレームワークを提案する。視覚的およびレイアウト情報の完全な保持により、テキストベースのRAGに比べてエンドツーエンド性能が25–39%向上し、特にテキスト解析によって情報損失が生じるレイアウトに敏感なタスクで優れた性能を発揮する。

ABSTRACT

Retrieval-augmented generation (RAG) is an effective technique that enables large language models (LLMs) to utilize external knowledge sources for generation. However, current RAG systems are solely based on text, rendering it impossible to utilize vision information like layout and images that play crucial roles in real-world multi-modality documents. In this paper, we introduce VisRAG, which tackles this issue by establishing a vision-language model (VLM)-based RAG pipeline. In this pipeline, instead of first parsing the document to obtain text, the document is directly embedded using a VLM as an image and then retrieved to enhance the generation of a VLM. Compared to traditional text-based RAG, VisRAG maximizes the retention and utilization of the data information in the original documents, eliminating the information loss introduced during the parsing process. We collect both open-source and synthetic data to train the retriever in VisRAG and explore a variety of generation methods. Experiments demonstrate that VisRAG outperforms traditional RAG in both the retrieval and generation stages, achieving a 20--40% end-to-end performance gain over traditional text-based RAG pipeline. Further analysis reveals that VisRAG is efficient in utilizing training data and demonstrates strong generalization capability, positioning it as a promising solution for RAG on multi-modality documents. Our code and data are available at https://github.com/openbmb/visrag.

研究の動機と目的

• マルチモーダルドキュメントにおけるテキストベースのRAGの限界、特に解析による情報損失とレイアウトの手がかりの無視を解決すること。
• 視覚言語モデル（VLM）が中間のテキスト抽出を経ずに、テキストベースのリtrievalおよびジェネレーションパイプラインを直接置き換えられるかどうかを調査すること。
• 元のドキュメント構造と視覚的意味を保持する純粋なビジュアルRAGパイプラインを開発すること。
• 実世界のマルチモーダルドキュメント、特に複雑なレイアウトや図を含むものに対して、VLMベースのリtrievalおよびジェネレーションの有効性を評価すること。
• 多様なドキュメントタイプとクエリシナリオにわたる一般化性と耐障害性を示すこと。

提案手法

• VisRAGは、視覚エンコーダーのトークンを重み付き平均プーリングによって直接ドキュメント画像に埋め込むVLMベースのリtriever（VisRAG-Ret）を採用し、OCRやテキスト解析を回避する。
• リtrieverはバイエンコーダーアーキテクチャを採用しており、クエリとドキュメント画像を同じ埋め込み空間にマップすることで、密なリtrievalを実現する。
• 生成には、取得したドキュメント画像に基づいて回答を生成するVLM（VisRAG-Gen）を用い、ページの連結と重み付き選択により複数画像対応を実現する。単一画像入力のモデルに対しても適応可能である。
• フレームワークは、オープンソースのVQAデータセットと、ウェブクロールドPDFから抽出した合成クエリ-ドキュメントペアの組み合わせで学習される。
• レイアウトと視覚的文脈が全体を通して保持され、空間的関係やドキュメント構造の正確な解釈が可能になる。
• 単一画像および複数画像対応のVLMをサポートし、リtrievalおよび生成の過程で視覚的忠実性を維持するための適応処理が施される。

実験結果

リサーチクエスチョン

• RQ1 視覚言語モデルベースのRAGパイプラインは、マルチモーダルドキュメント理解において、従来のテキストベースのRAGを上回ることができるか？
• RQ2 テキスト解析パイプラインと比較して、視覚的レイアウトと画像コンテンツを保持することで、リtrievalおよびジェネレーショングの正確性がどの程度向上するか？
• RQ3 フォントやフォーマットの影響によりテキスト抽出に失敗するレイアウトに敏感なクエリにおいて、VisRAGはどのように動作するか？
• RQ4 リtrievalにおいて画像を直接使用することで、段階的な解析パイプラインに比べて情報損失がどの程度減少するか？
• RQ5 VisRAGは、インフォグラフィックス、マニュアル、フォームなど多様なドキュメントタイプに、テキストコンテンツへの依存を最小限に抑えて一般化できるか？

主な発見

• VisRAGは、マルチモーダルドキュメントベンチマークにおいて、従来のテキストベースのRAGパイプラインに比べ25–39%のエンドツーエンド性能向上を達成した。
• レイアウトに敏感なタスクでは、特定の領域（例：ヨーロッパ対UK）に関連するパーセンテージを正しく特定する際、VisRAGはヨーロッパに対して53%の正答率を示したが、TextRAGは解析に起因するレイアウトの混乱により失敗した。
• 装飾的なフォントで隠されている用語（例：'Club Jetty'）が含まれる文書についても、VisRAGは正しく検索できたが、TextRAGは抽出に失敗し、検索に失敗した。
• VLMベースのリtrieverは、同等の条件で学習された最先端のテキストおよび視覚中心のリtrieverを上回る性能を示した。
• GPT-4oを用いた場合、使用する取得ドキュメント数を増やすにつれてVisRAGの性能向上が顕著に見られ、複数ドキュメントのコンテキストを活用する上で優れたスケーラビリティを示した。
• VisRAGは強力な一般化性能と訓練データの効果的活用を示しており、多様なドキュメントレイアウトや視覚的構造にわたる耐障害性があることが示唆された。