[論文レビュー] Vision-Language Intelligence: Tasks, Representation Learning, and Large Models

Feng Li, Hao Zhang+6 more|arXiv (Cornell University)|Mar 3, 2022

Multimodal Machine Learning Applications被引用数 30

ひとこと要約

本論文は、タスク特化型手法、視覚言語事前学習、そして大規模モデルという3時代にわたる視覚言語知能を概観し、核心要素と今後の方向性を整理している。

ABSTRACT

This paper presents a comprehensive survey of vision-language (VL) intelligence from the perspective of time. This survey is inspired by the remarkable progress in both computer vision and natural language processing, and recent trends shifting from single modality processing to multiple modality comprehension. We summarize the development in this field into three time periods, namely task-specific methods, vision-language pre-training (VLP) methods, and larger models empowered by large-scale weakly-labeled data. We first take some common VL tasks as examples to introduce the development of task-specific methods. Then we focus on VLP methods and comprehensively review key components of the model structures and training methods. After that, we show how recent work utilizes large-scale raw image-text data to learn language-aligned visual representations that generalize better on zero or few shot learning tasks. Finally, we discuss some potential future trends towards modality cooperation, unified representation, and knowledge incorporation. We believe that this review will be of help for researchers and practitioners of AI and ML, especially those interested in computer vision and natural language processing.

研究の動機と目的

• 視覚言語学習の3つの歴史的時代（タスク特化型手法、視覚言語事前学習、そして大規模な弱ラベル付きデータ）をたどる。
• 核心的VLタスク（例：画像キャプション、VQA、画像とテキストの照合）とその推移を分析する。
• Vision-Language Pre-Training（VE、TE、MF） のアーキテクチャと訓練要素、およびモデル動向を説明する。
• 大規模データと弱教師付き学習がゼロショットおよびFew-shotの一般化をどう可能にするかを論じる。
• モダリティ協調、統一表現、知識の組み込みといった将来の傾向を概説する。

提案手法

• タスク特化型VL問題をレビューし、入力/出力、データセット、指標、および主流手法を要約する。
• Vision-Language Pre-Training（VLP）パラダイムとその主要要素（視覚/テキスト埋め込み、モダリティ融合、Transformerベースの訓練）を説明する。
• 単一ストリーム vs 二重ストリームのVLPモデルアーキテクチャとクロスモーダルアテンション機構を論じる。
• 大規模な画像-テキストデータと対照学習が言語と整列した視覚表現をどのように実現するかを説明する。
• 下流タスク転移とゼロショット/Few-shot 能力を可能にする事前学習の役割を要約する。

実験結果

リサーチクエスチョン

• RQ1 主要なタスク特化型VL問題は何であり、それらはどのように進化してきたか？
• RQ2 Vision-Language Pre-Trainingモデルは共通表現をどう学習し、それらのアーキテクチャパターンは何か？
• RQ3 大規模な弱ラベル付き画像-テキストデータがゼロショットおよびFew-shot一般化に与える影響は何か？
• RQ4 モダリティ協調、統一表現、知識組込みの将来の動向は何か？

主な発見

• VL研究は3段階で進展する：タスク特化型手法、VLPベースの結合表現、大規模モデルと弱ラベル付きデータのアプローチ。
• VLPモデルは、事前学習を通じてオブジェクトレベルで、言語と整列し、意味的に豊かな視覚表現を目指す。
• Transformerベースのアーキテクチャとクロスモーダルマスキング/訓練がVL事前学習を成功に導く。
• 大規模な画像-テキストデータと対比学習は強力なゼロショットおよびFew-shot能力を支える。
• モデルアーキテクチャは一般にdual-stream（VE/TEを分離し、統合を任意に行う）とsingle-stream（統一エンコーダ）設計に分類される。
• 領域ベースの特徴（例：Faster R-CNN）とアテンション機構は、VQAやキャプショニングなどのVLタスクを著しく改善する。