[論文レビュー] UReader: Universal OCR-free Visually-situated Language Understanding with Multimodal Large Language Model

Jiabo Ye, Anwen Hu+12 more|arXiv (Cornell University)|Oct 8, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

UReaderは、マルチモーダル大規模言語モデル（MLLM）における指示微調整を用いて、OCRフリーで普遍的な視覚的文脈言語理解フレームワークを導入し、微調整を伴わずに10のタスクのうち8つで最先端の性能を達成した。形状に応じたクロッピングモジュールを活用して、凍結された低解像度のビジョンエンコーダーで高解像度画像を処理し、最小限のパラメータ更新で補助的なテキスト読み取りおよびキーポイント生成タスクを通じて、テキストおよび意味的理解を強化した。

ABSTRACT

Text is ubiquitous in our visual world, conveying crucial information, such as in documents, websites, and everyday photographs. In this work, we propose UReader, a first exploration of universal OCR-free visually-situated language understanding based on the Multimodal Large Language Model (MLLM). By leveraging the shallow text recognition ability of the MLLM, we only finetuned 1.2% parameters and the training cost is much lower than previous work following domain-specific pretraining and finetuning paradigms. Concretely, UReader is jointly finetuned on a wide range of Visually-situated Language Understanding tasks via a unified instruction format. To enhance the visual text and semantic understanding, we further apply two auxiliary tasks with the same format, namely text reading and key points generation tasks. We design a shape-adaptive cropping module before the encoder-decoder architecture of MLLM to leverage the frozen low-resolution vision encoder for processing high-resolution images. Without downstream finetuning, our single model achieves state-of-the-art ocr-free performance in 8 out of 10 visually-situated language understanding tasks, across 5 domains: documents, tables, charts, natural images, and webpage screenshots. Codes and instruction-tuning datasets will be released.

研究の動機と目的

• ドキュメント、表、チャート、自然画像、ウェブページなど、多様な画像タイプにわたる、普遍的でOCRフリーの視覚的文脈言語理解を可能にすること。
• ドメイン特化の事前学習を回避し、凍結されたMLLMにおける低コストな指示微調整を用いることで、訓練コストを削減すること。
• 補助的な指示微調整タスク（テキスト読み取りおよびキーポイント生成）を通じて、視覚的文脈タスクにおけるテキスト認識および意味理解を向上させること。
• テキストの整合性を保ちつつ、形状に応じたクロッピングモジュールを用いて、凍結された低解像度ビジョンエンコーダーを高解像度画像に効果的に活用すること。
• 微調整なしに10のベンチマークタスクで最先端の性能を達成すること。

提案手法

• すべての視覚的文脈言語理解タスクを、1つのMLLMで統合的微調整が可能な統一された指示微調整フォーマットに再定式化すること。
• 同じ指示フォーマットを用いて、視覚的・テキスト的および意味的理解を強化する2つの補助タスク（テキスト読み取りおよびキーポイント生成）を導入すること。
• アスペクト比に応じて高解像度画像を局所的なパッチに分割する形状に応じたクロッピングモジュールを設計し、テキストの明瞭性を保ちながら歪みを低減すること。
• 各クロップドパッチにトレーニング可能な視覚アブストラクタを適用し、空間的認識を維持するための学習可能なクロップ位置埋め込みを追加して特徴を連結すること。
• 情報損失を軽減するため、リサイズされたグローバル画像を同時に入力すること。
• パラメータのわずか1.2%のみを微調整することでMLLMを微調整し、従来のドメイン特化の事前学習アプローチと比較して著しく訓練コストを削減すること。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化の事前学習を伴わず、1つのMLLMが多様なドメインにわたって普遍的でOCRフリーの視覚的文脈言語理解を達成できるか？
• RQ2 補助タスクを伴う指示微調整は、視覚言語タスクにおけるテキスト認識および意味理解の向上にどの程度効果的か？
• RQ3 形状に応じたクロッピング戦略は、凍結された低解像度ビジョンエンコーダーを高解像度画像理解に効果的に活用できるか？
• RQ4 モデルは、ドキュメント、表、チャート、自然画像、ウェブページなど、さまざまな画像タイプにどの程度一般化するか？
• RQ5 OCRフリーの精度および訓練効率の観点から、先行手法と比較してモデルの性能はどの程度か？

主な発見

• UReaderは、微調整なしに5つのドメインにわたる10の視覚的文脈言語理解タスクのうち8つで最先端の性能を達成した。
• 形状に応じたクロッピングモジュールは、固定グリッドクロッピングと比較して、テキスト読み取り性能を3.5 BLEUポイント向上（21.4から24.9 BLEU1）させ、テキストの歪みを低減した。
• 補助的なテキスト読み取りタスクは、画像からのテキストシーケンスの抽出および再構築能力を顕著に向上させ、評価セットではBLEU4スコアが11.7を記録した。
• モデルは強力なゼロショット一般化を示し、関連領域に注目することで、表に関する複雑な質問（例：最初の映画を特定する、合計を計算する）を正確に回答した。
• UReaderは、チャートに対してオープンエンドのキーポイント生成を成功裏に実行したが、幻覚現象や複雑な視覚的構造の不完全理解により性能に限界があった。
• わずか1.2%のパラメータのみを微調整することで、従来のエンドツーエンドまたは2段階アプローチと比較して著しく低い訓練コストを達成した。