[論文レビュー] Review of Large Vision Models and Visual Prompt Engineering

Jiaqi Wang, Zhengliang Liu+19 more|arXiv (Cornell University)|Jul 3, 2023

Visual Attention and Saliency Detection被引用数 12

ひとこと要約

本論文は大規模視覚モデルとビジュアルプロンプト設計を概観し、主要なモデル、プロンプト設計手法、およびAGIへの応用を詳述し、分野の今後の方向性も示す。

ABSTRACT

Visual prompt engineering is a fundamental technology in the field of visual and image Artificial General Intelligence, serving as a key component for achieving zero-shot capabilities. As the development of large vision models progresses, the importance of prompt engineering becomes increasingly evident. Designing suitable prompts for specific visual tasks has emerged as a meaningful research direction. This review aims to summarize the methods employed in the computer vision domain for large vision models and visual prompt engineering, exploring the latest advancements in visual prompt engineering. We present influential large models in the visual domain and a range of prompt engineering methods employed on these models. It is our hope that this review provides a comprehensive and systematic description of prompt engineering methods based on large visual models, offering valuable insights for future researchers in their exploration of this field.

研究の動機と目的

• 影響力のある大規模視覚モデルとその能力を要約する。
• モダリティ横断でのビジュアルプロンプト設計手法を調査する（画像、テキスト画像、マルチモーダル）。
• プロンプトが視覚モデルとAGIアプリケーションにおけるゼロショット／汎化をどう促進するかを論じる。
• ビジュアルプロンプト研究の課題、限界、今後の方向性を明らかにする。

提案手法

• キーワード「visual prompt」でarXivを検索し、コンピュータビジョン関連の論文を抽出した。
• レビューを基盤モデル（Transformer、CLIP、SAM）とプロンプトのパラダイム（ビジュアルプロンプト、マルチモーダルプロンプト）を軸に整理した。
• ビジュアルプロンプト学習アプローチ（マルチモーダルプロンプト、ビジュアルプロンプトチューニング）とタスク特化のプロンプト設計を記述した。
• AGI文脈におけるビジュアルプロンプトと、ドメイン間の汎化への影響を検討した。
• AIシステムにおけるビジュアルプロンプトの今後の方向性と含意を概説した。

実験結果

リサーチクエスチョン

• RQ1 視覚とマルチモーダル理解の進展を推進する主な大規模視覚モデルは何か？
• RQ2 大規模視覚モデルを下流タスクやAGIアプリケーションに適応させるためにどんなプロンプト設計手法が用いられているか？
• RQ3 視覚プロンプトはタスクやドメイン間のゼロショット・少数-shot汎化にどう寄与するか？

主な発見

• プロンプト設計は、大規模視覚モデルを再訓練なしに多様なタスクへ活用するうえで極めて重要である。
• 著名なモデル（例：Transformerベースの視覚モデル、CLIP、SAM）はビジュアルプロンプトとゼロショット汎化の進歩を支える。
• マルチモーダルプロンプトと連続的プロンプト表現は、画像理解やセグメンテーションなどのタスク適応性を向上させる。
• ビジュアルプロンプトは、入力空間の調整（例：VPT）やモジュラーなセグメンテーション手法（例：SAM）を通じて効率的なタスク適応を実現する。
• データ駆動プロンプト、文脈対応プロンプト、多様性対応プロンプトなどの多様なプロンプト戦略は、データセット間および下流シナリオでの汎化を高める。