[論文レビュー] Vision-Language Pre-training: Basics, Recent Advances, and Future Trends

Zhe Gan, Linjie Li+4 more|arXiv (Cornell University)|Oct 17, 2022

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

本サーベイは、画像・テキスト、コアコンピュータビジョン、ビデオ・テキストのタスクにわたる視覚言語事前学習（VLP）について包括的な概要を提供する。最先端のモデル、事前学習目的関数、データセット、および基盤モデル、文脈内学習、知識統合、耐性といった高度なトピックをカバーする。VLPの進化が、タスク特化型モデルから汎用的でスケーラブルなマルチモーダルシステムへと移行したことを強調しており、現実世界のシナリオにおいても応用範囲が広がり、新たな能力を発揮している。

ABSTRACT

This paper surveys vision-language pre-training (VLP) methods for multimodal intelligence that have been developed in the last few years. We group these approaches into three categories: ($i$) VLP for image-text tasks, such as image captioning, image-text retrieval, visual question answering, and visual grounding; ($ii$) VLP for core computer vision tasks, such as (open-set) image classification, object detection, and segmentation; and ($iii$) VLP for video-text tasks, such as video captioning, video-text retrieval, and video question answering. For each category, we present a comprehensive review of state-of-the-art methods, and discuss the progress that has been made and challenges still being faced, using specific systems and models as case studies. In addition, for each category, we discuss advanced topics being actively explored in the research community, such as big foundation models, unified modeling, in-context few-shot learning, knowledge, robustness, and computer vision in the wild, to name a few.

研究の動機と目的

• 画像・テキスト、コアビジョン、ビデオ・テキストのタスクにわたる視覚言語事前学習（VLP）を統合的かつ詳細にサーベイすること。
• タスク特化型モデルから大規模で汎用的なマルチモーダル基盤モデルへと進化するプロセスを分析すること。
• 文脈内少数ショット学習、知識強化、モデル耐性、効率的適応といった最先端の研究動向を検討すること。
• 標準ベンチマークおよび現実世界のオープンボックス環境におけるVLPモデルの性能と限界を評価すること。
• システムレベルの課題と事例研究を通じて、学術的研究と産業分野への実装のギャップを埋めること。

提案手法

• 本論文は、VLP手法を3つの主要カテゴリに分類する：画像・テキストタスク、コアコンピュータビジョンタスク、ビデオ・テキストタスク。
• 各カテゴリについて、最先端のモデル、事前学習目的関数、データセット、モデルアーキテクチャをレビューする。
• 大規模基盤モデル、統合的モデリング、文脈内少数ショット学習、知識強化VLPといった高度なトピックを分析する。
• CLIP、ALIGN、LLaVA、Video-LLaMAなどの代表的モデルの事例研究を紹介し、設計選択とパフォーマンスのトレードオフを説明する。
• COO、ImageNet、VQAv2などの標準データセットを用いたプローブ分析とベンチマーク比較を通じて耐性を評価する。
• 産業界のシステム事例に基づき、モデル圧縮や効率性といった実用的課題について議論する。

実験結果

リサーチクエスチョン

• RQ1 視覚言語事前学習モデルは、タスク特化型アーキテクチャから統合的でスケーラブルな基盤モデルへとどのように進化したか？
• RQ2 画像、動画、コアビジョンタスクの全般で最先端のパフォーマンスを実現するための、主なアーキテクチャ的設計と事前学習目的関数の特徴は何か？
• RQ3 境界ボックスなどの構造的出力（例：境界ボックス）を必要とする複雑なビジョンタスクにおいて、文脈内少数ショット学習はどの程度可能か？
• RQ4 外部知識やリtrieval増強手法を活用することで、VLPモデルの事実的正確性と一般化能力はどのように向上するか？
• RQ5 大規模VLPモデルを現実世界のオープンボックス、ワイルドカード環境に展開するにあたり、主な課題は何か？

主な発見

• 視覚言語事前学習は、画像・テキストタスクをはるかに超えて、画像分類、物体検出、セグメンテーションといったコアコンピュータビジョンタスクにおいても強力なパフォーマンスを発揮するようになった。
• CLIP や ALIGN といった基盤モデルは、特にオープンセットおよびゼロショット学習のシナリオで優れたゼロショット転送能力を示している。
• 文脈内少数ショット学習は、テキスト出力に限っては実現可能であるが、境界ボックスやセグメンテーションマスクといった構造的出力が必要なビジョンタスクでは依然として挑戦的である。
• 知識強化VLPは、新たなフロンティアとされており、リtrieval増強手法が事実の整合性を高め、幻覚を低減する上で有望な兆しなどを示している。
• 耐性評価の結果、モデルは標準ベンチマークに過剰適合しやすいことが判明し、より厳密な診断テストと耐性のある学習戦略の導入が不可欠であることが示された。
• パラメータ効率的微調整（例：アダプタ）による効率的適応は、リソース制約のある環境への大規模VLPモデルの展開において極めて重要である。