[論文レビュー] ColPali: Efficient Document Retrieval with Vision Language Models

Manuel Faysse, Hugues Sibille+5 more|arXiv (Cornell University)|Jun 27, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

ColPaliは、ドキュメント画像からのテキスト抽出を経由せずに、高品質で文脈に即した埋め込みを直接生成する、ビジョン・ランゲージモデル（VLM）に基づくリtrievalシステムを導入する。ViDoReベンチマークにおいて、インdeックス作成が高速で低遅延の推論を実現し、視覚的特徴とラテント相互作用マッチングを活用することで、従来のテキスト中心のリtrievalパイプラインを凌駕する最先端の性能を達成した。

ABSTRACT

Documents are visually rich structures that convey information through text, but also figures, page layouts, tables, or even fonts. Since modern retrieval systems mainly rely on the textual information they extract from document pages to index documents -often through lengthy and brittle processes-, they struggle to exploit key visual cues efficiently. This limits their capabilities in many practical document retrieval applications such as Retrieval Augmented Generation (RAG). To benchmark current systems on visually rich document retrieval, we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of various page-level retrieval tasks spanning multiple domains, languages, and practical settings. The inherent complexity and performance shortcomings of modern systems motivate a new concept; doing document retrieval by directly embedding the images of the document pages. We release ColPali, a Vision Language Model trained to produce high-quality multi-vector embeddings from images of document pages. Combined with a late interaction matching mechanism, ColPali largely outperforms modern document retrieval pipelines while being drastically simpler, faster and end-to-end trainable. We release models, data, code and benchmarks under open licenses at https://hf.co/vidore.

研究の動機と目的

• テーブル、図、レイアウトなどの視覚的要素を豊富に含むドキュメントにおいて、現在のドキュメントリtrievalシステムが視覚的特徴を十分に活用していないという限界を是正すること。
• OCRやレイアウト解析パイプラインに依存せず、ドキュメント画像から直接動作するリtrievalシステムの開発。
• 視覚的文脈を統合することで、リtrieval増強生成（RAG）などの実世界の応用におけるリtrieval性能の向上。
• 視覚的に豊富で多言語・多分野のドキュメントリtrieバルタスクを評価できる包括的なベンチマーク、ViDoReの構築。
• エンドツーエンドで訓練可能で低遅延かつ高スループットなドキュメントリtrievalを実現し、産業用途に適したものとする。

提案手法

• ColPaliは、ドキュメントページ画像から直接、マルチベクトル埋め込みを生成するためにビジョン・ランゲージモデル（VLM）を活用し、OCRやテキスト抽出を必要としない。
• 最も関連性の高い画像パッチに注目するように注意機構を用いるラテント相互作用機構により、クエリからドキュメントへのマッチングスコアを計算することで、計算コストを抑えつつ高い精度を実現する。
• ドキュメントページから抽出した画像-テキストペアを用いて、コントラスト学習の目的関数で微調整することで、クエリと視覚的特徴の間の意味的整合性を最適化する。
• パッチベースの特徴抽出戦略により、各ドキュメントページを複数の視覚的トークンに分割し、細粒度のマッチングと関連コンテンツの局所化を向上させる。
• 訓練中に低ランクアダプタを用いることで、計算コストとストレージコストを削減し、大規模ドキュメントコーパスにおける効率的な微調整を可能にする。
• エンドツーエンドのトレーニングと推論をサポートし、マルチベクトルリtrieバルをサポートするベクトルデータベースとも互換性を持つ。

Figure 1: For each term in a user query, ColPali identifies the most relevant document image patches (highlighted zones) and computes a query-to-page matching score. We can then swiftly retrieve the most relevant documents from a large pre-indexed corpus.

実験結果

リサーチクエスチョン

• RQ1 テーブル、図、レイアウトなどの視覚的要素の理解を要するドキュメントリtrieバルにおいて、ビジョン・ランゲージモデルベースのリtrievalシステムは、テキスト中心のモデルを上回ることができるか？
• RQ2 OCRやレイアウト解析パイプラインを回避し、代わりに生の画像特徴を用いることで、ドキュメントリtrieバルの性能はどの程度向上するか？
• RQ3 マルチベクトル埋め込みを用いたラテント相互作用機構は、ドキュメントリtrieバルにおける精度と遅延の両面でどのように向上をもたらすか？
• RQ4 テキスト抽出に依存しない統合的かつエンドツーエンドで微調整可能なシステムは、テキスト抽出なしに多様な分野、言語、ドキュメント形式で高い性能を達成できるか？
• RQ5 実世界の産業用途、たとえばRAGや検索エンジンにおいて、視覚的特徴がリtrieバル性能に与える影響は何か？

主な発見

• ColPaliは、ViDoReベンチマークで最先端の性能を達成し、視覚的に豊富なドキュメントリtrieバルタスクにおいて、従来のテキストベースのリtrieバルモデルを顕著に上回った。
• OCRやレイアウト解析の必要性を排除することで、インdeックス作成時間を短縮し、従来のパイプラインと比較してより迅速なコーパスインジェストionを実現した。
• 効率的なラテント相互作用機構のおかげで、クエリ処理の遅延が低く抑えられ、リアルタイムの産業用途に適した性能を示した。
• 複数の分野、言語（英語およびフランス語を含む）、複雑な視覚的構造を持つドキュメントタイプにおいて、強力な一般化性能を示した。
• ColPaliのトレーニングには約40時間のMi250x AMD GPU時間が必要であり、総CO2換算排出量は約15kg CO2 eqと低コストであることが判明した。
• オープンソースライセンスでViDoReベンチマークとColPaliモデルが公開され、視覚ベースドキュメントリtrieバル分野の今後の研究を加速することが期待される。

Figure 2: ColPali simplifies document retrieval w.r.t. standard retrieval methods while achieving stronger performances with better latencies. Latencies and results are detailed in section 5 and subsection B.5 .