[論文レビュー] Monkey: Image Resolution and Text Label Are Important Things for Large Multi-modal Models

Zhang Li, Biao Yang+7 more|arXiv (Cornell University)|Nov 11, 2023

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

Monkeyはパッチベースの高解像度入力アプローチを提案し、パッチごとのアダプタと多段階の記述生成パイプラインを用いて、キャプション、VQA、テキスト中心の文書タスク全般で大規模モダリティモデルの性能を向上させる。18データセットで事前学習を全面的に行わずに、1344x896の解像度と多様なキャプション生成を活用して利得を示す。

ABSTRACT

Large Multimodal Models (LMMs) have shown promise in vision-language tasks but struggle with high-resolution input and detailed scene understanding. Addressing these challenges, we introduce Monkey to enhance LMM capabilities. Firstly, Monkey processes input images by dividing them into uniform patches, each matching the size (e.g., 448x448) used in the original training of the well-trained vision encoder. Equipped with individual adapter for each patch, Monkey can handle higher resolutions up to 1344x896 pixels, enabling the detailed capture of complex visual information. Secondly, it employs a multi-level description generation method, enriching the context for scene-object associations. This two-part strategy ensures more effective learning from generated data: the higher resolution allows for a more detailed capture of visuals, which in turn enhances the effectiveness of comprehensive descriptions. Extensive ablative results validate the effectiveness of our designs. Additionally, experiments on 18 datasets further demonstrate that Monkey surpasses existing LMMs in many tasks like Image Captioning and various Visual Question Answering formats. Specially, in qualitative tests focused on dense text question answering, Monkey has exhibited encouraging results compared with GPT4V. Code is available at https://github.com/Yuliang-Liu/Monkey.

研究の動機と目的

• 大規模マルチモーダルモデル（LMMs）における高解像度画像の取り扱いを改善し、より細かな視覚情報と密なテキストを捉える動機付け。
• 共有ViTを用い、パッチごとのアダプタを通じて画像をパッチに分割して高解像度入力を処理する、リソース効率の高い手法（Monkey）を開発する。
• トレーニングデータを豊かにし、画像とテキストの整合性を強化する自動的な多段階記述生成パイプラインを導入する。
• 全面的な事前学習を伴わずに、18データセットでキャプション生成、一般VQA、シーンテキストVQA、文書VQAの各分野で性能改善を実証する。

提案手法

• 滑動窓を用いて高解像度画像を均一なパッチ（例：448×448）に分割し、局所クロップを作成する。
• パッチごとに学習可能なアダプタを持つ共有ViTエンコーダを用いて、パッチとグローバル画像を処理し、視覚リサンパラーを行う。
• 各パッチエンコーダでLoRA調整を用い、パッチ固有の特徴に適応させつつ、元のエンコーダの事前学習分布を維持する。
• パッチレベルとグローバル特徴を言語空間に融合させるため、学習可能なクエリベクトルを用いたクロスアテンションベースの視覚リサンパラーを採用する。
• 複数のシステム（BLIP2、PPOCR、GRIT、SAM、ChatGPT）の出力を統合して高品質な多層キャプションを生成し、一貫性チェックを行い、豊かな記述のためにChatGPTを用いて微調整する。
• 1.44Mサンプルのマルチタスクデータセット（画像キャプション、一般VQA、シーンテキストVQA、文書VQA）で、統一された指示形式を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 高解像度入力（最大1344×896）を用いることで、全体的な事前学習なしに、細かな視覚・テキスト理解を向上させられるか？
• RQ2 パッチごとのアダプタを持つパッチベースの処理手法は、より大きな入力を可能にしつつ、エンコーダの訓練分布を保持しつつ、実現できるか？
• RQ3 多層記述生成は、シーンオブジェクトの関連付けや質問能力の学習を向上させるか？
• RQ4 多様なデータセットで、Monkeyは画像キャプション、一般VQA、シーンテキストVQA、文書指向VQAの各分野でどの程度の性能向上を示すか？

主な発見

• Monkeyは事前学習をゼロから行うことなく、1344×896までの効果的な入力解像度を向上させている。
• 多層記述はシーンオブジェクトの関連付けの文脈を改善し、キャプション生成とVQAのパフォーマンスを向上させる。
• 18データセットにおいて、MonkeyはImage Captioning、General VQA、Scene Text-centric VQA、Document-oriented VQAのいくつかの既存LMMを上回る。
• 密集したテキストQAの場面では、GPT-4Vと比較して有望な定性的成果を示す。
• アブレーション研究は、提案された解像度向上とパッチアダプタが従来の補間法よりも利得をもたらすことを示す。
• 多様なデータセットを含む1.44Mのキュレーション済み例で訓練することで、広範なフルスケール事前学習を伴わなくても競争力のある結果を得る。