[論文レビュー] An Introduction to Vision-Language Modeling

Florian Bordes, Richard Yuanzhe Pang+39 more|arXiv (Cornell University)|May 27, 2024

Geographic Information Systems Studies被引用数 33

ひとこと要約

この論文は Vision-Language Models (VLMs) のアクセスしやすい概要を提供し、訓練パラダイム（対照学習、マスキング、生成、および事前学習済みバックボーンアプローチ）、データと評価実践、動画への拡張を詳述します。

ABSTRACT

Following the recent popularity of Large Language Models (LLMs), several attempts have been made to extend them to the visual domain. From having a visual assistant that could guide us through unfamiliar environments to generative models that produce images using only a high-level text description, the vision-language model (VLM) applications will significantly impact our relationship with technology. However, there are many challenges that need to be addressed to improve the reliability of those models. While language is discrete, vision evolves in a much higher dimensional space in which concepts cannot always be easily discretized. To better understand the mechanics behind mapping vision to language, we present this introduction to VLMs which we hope will help anyone who would like to enter the field. First, we introduce what VLMs are, how they work, and how to train them. Then, we present and discuss approaches to evaluate VLMs. Although this work primarily focuses on mapping images to language, we also discuss extending VLMs to videos.

研究の動機と目的

• VLMs とは何かと、それが視覚と言語を橋渡しする上でなぜ重要かを説明する。
• 訓練目的とアーキテクチャに基づいて VLMs を意味のあるファミリーに分類する。
• データ、訓練慣行、および VLMs の評価方法論について研究者を guide する。
• 動画への拡張と責任ある評価と grounding の考慮事項を論じる。

提案手法

• 対照学習、マスキング、生成、事前学習済みバックボーンモデルの4つのファミリーに VLM アプローチを分類する。
• 各パラダイムを体現する主要モデルを説明する（例：対照学習には CLIP、マスキングには FLAVA/MaskVLM、生成には CoCa/CM3leon、バックボーンには Frozen/MiniGPT）。
• 情報理論的な視点から VLM の目的とレート歪み（rate-distortion）思考との関係を説明する。
• データ選定、拡張、 grounding 技術を含む実践的な学習レシピを概説する。
• 評価戦略、バイアス、記憶化、幻視、責任ある VLM 評価のための red-teaming を議論する。

実験結果

リサーチクエスチョン

• RQ1 視覚と言語モデルを構築するために用いられる主な訓練パラダイムは何で、それらはどのように異なるのか？
• RQ2 さまざまなデータとバックボーン戦略で VLMs を効率的に訓練するにはどうすればよいか？
• RQ3 視覚-言語能力、バイアス、信頼性を判断するための頑健な評価実践とは何か？
• RQ4 画像から動画へと VLMs を拡張するにはどうすればよく、どんな課題が生じるのか？

主な発見

• 対照学習、マスキング、および生成目的は VLMs で組み合わせることができ、選択はタスクとリソースに依存する。
• 事前学習済みバックボーン（例：LLMs）は訓練コストを大幅に削減しつつ強力なマルチモーダル能力を可能にする。
• 情報理論的な視点はマスキングと対照学習の目的を表現学習におけるレート-歪みのトレードオフとして結びつける。
• 生成モデルは条件付き尤度を介して識別タスクを可能とし、ロバスト性と構成的推論の利点を提供する。
• VLM の評価はバイアス、幻視、 memorization、訓練データが下流パフォーマンスに及ぼす影響に対処する必要がある。