[論文レビュー] DocPedia: Unleashing the Power of Large Multimodal Model in the Frequency Domain for Versatile Document Understanding

Hao Feng, Qi Liu+5 more|arXiv (Cornell University)|Nov 20, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

DocPediaは、DCT係数を用いて周波数ドメインで直接高解像度のドキュメント画像を処理する、革新的な大規模マルチモーダルモデルを提案する。OCRを経由せずに優れた認識と理解を実現する。二段階のトレーニング戦略と周波数ドメインの視覚的エンコーディングを活用することで、DocVQA や TextVQA などのベンチマークで最先端の性能を達成し、特に 2,560×2,560 解像度で顕著な成果を示す。

ABSTRACT

This work presents DocPedia, a novel large multimodal model (LMM) for versatile OCR-free document understanding, capable of parsing images up to 2,560$ imes$2,560 resolution. Unlike existing work either struggle with high-resolution documents or give up the large language model thus vision or language ability constrained, our DocPedia directly processes visual input in the frequency domain rather than the pixel space. The unique characteristic enables DocPedia to capture a greater amount of visual and textual information using a limited number of visual tokens. To consistently enhance both perception and comprehension abilities of our model, we develop a dual-stage training strategy and enrich instructions/annotations of all training tasks covering multiple document types. Extensive quantitative and qualitative experiments conducted on various publicly available benchmarks confirm the mutual benefits of jointly learning perception and comprehension tasks. The results provide further evidence of the effectiveness and superior performance of our DocPedia over other methods.

研究の動機と目的

• 既存のOCRフリーのドキュメント理解モデルが直面する視覚的制限（低解像度入力）や言語的制限（軽量なデコーダー）を解消すること。
• ドキュメント理解における高解像度の視覚的認識と強固な言語理解の間のトレードオフを克服すること。
• 大規模言語モデル（LLM）を用いて推論や世界知識を活用しつつ、高解像度ドキュメントの微細な視覚的詳細を保持できるようにすること。
• 認識と理解の両能力を統合的に最適化するトレーニング戦略を開発し、多様なドキュメント理解に適応可能にする。
• 視覚エンコーダーの入力としてピクセル空間の代替として周波数ドメイン表現を用いる可能性を検討すること。

提案手法

• ドキュメント画像をJPEGのDCT処理により周波数ドメイン係数に変換し、視覚エンコーダーの入力として使用することで、トークン数を削減しながらも、重要な視覚的およびテキスト的情報を保持する。
• DCT係数と視覚エンコーダーの間のギャップを埋めるために、周波数アダプタを導入し、周波数ドメインでの効果的な特徴学習を可能にする。
• 二段階のトレーニング戦略を採用：まず、画像-テキストペアを用いた対照的学習により視覚エンコーダーを事前学習し、次に、認識（OCR、キャプション作成）と理解（VQA、ドキュメント理解）の両タスクを共同で微調整する。
• 大規模言語モデル（LLM）を用い、周波数ドメインからの視覚トークンと指示由来のトークンを統合して出力を生成することで、論理的推論と世界知識の活用を可能にする。
• 多様なドキュメントタイプ（レシート、学術論文、フォームなど）をカバーする豊富なアノテーション付きの指示とデータを用いてモデルを最適化する。
• 推論時に、非常に高解像度の入力を処理するための形状に適応したクロッピング戦略を適用し、モデルの高解像度処理能力を最大限に活用する。

実験結果

リサーチクエスチョン

• RQ1 画像の周波数ドメイン表現が、高解像度ドキュメント理解における大規模マルチモーダルモデルの効率性と性能を向上させることができるか？
• RQ2 認識と理解のタスクを共同で事前学習および微調整することで、モデルの能力が相互に向上するか？
• RQ3 ピクセル空間ベースラインと比較して、周波数ドメイン入力パイプラインが視覚トークン効率性と解像度スケーラビリティの面で優れているか？
• RQ4 軽量なデコーダーと比較して、完全なLLMを用いた推論が、複雑なドキュメント理解タスクの性能にどの程度向上効果をもたらすか？
• RQ5 極めて高解像度またはマルチページのドキュメントにおいて、モデルの性能はどの程度で、そのような状況での限界は何か？

主な発見

• 1,920×1,920 解像度入力で、DocVQAベンチマークにおいて53.35％のVQAスコアを達成し、画像ベース入力のみを用いる手法を上回った。
• 2,560×2,560 解像度では、複雑なクエリに対しても正確な応答を生成し、低解像度と比較して性能が顕著に向上した。
• 周波数ドメイン入力戦略により、同じ解像度でピクセル空間入力と比較して、視覚トークン数を1/4に削減しながらも高い性能を維持できた。
• アブレーションスタディの結果、事前学習が極めて重要であることが示された。省略すると性能が著しく低下し、視覚-LLM特徴の整合性の重要性が浮き彫りになった。
• 認識と理解のタスクを共同で微調整することで、個別に学習するよりも優れた結果が得られ、同時に学習による相互利益が確認された。
• 特に高解像度において、テキストの局所化や推論タスク（図1のQ3など）で優れた性能を示した。ピクセルベースのモデルはダウンスケーリングのため、高解像度では失敗する。