[論文レビュー] Exploring Effective Factors for Improving Visual In-Context Learning

Yanpeng Sun, Qiang Chen+4 more|arXiv (Cornell University)|Apr 10, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、ピクセル単位のプロンプト選択とアンサンブルベースのプロンプト融合を通じて性能を向上させる、視覚的イン・コンテキスト学習のための新規フレームワーク、prompt-SelFを提案する。空間的に類似した高品質なプロンプトを選択し、複数の統合戦略を用いた予測を融合することで、prompt-SelFは最先端の結果を達成し、1ショットセグメンテーションにおいて、OSLSMに基づくメタラーニングを初めて上回った。

ABSTRACT

The In-Context Learning (ICL) is to understand a new task via a few demonstrations (aka. prompt) and predict new inputs without tuning the models. While it has been widely studied in NLP, it is still a relatively new area of research in computer vision. To reveal the factors influencing the performance of visual in-context learning, this paper shows that prompt selection and prompt fusion are two major factors that have a direct impact on the inference performance of visual context learning. Prompt selection is the process of identifying the most appropriate prompt or example to help the model understand new tasks. This is important because providing the model with relevant prompts can help it learn more effectively and efficiently. Prompt fusion involves combining knowledge from different positions within the large-scale visual model. By doing this, the model can leverage the diverse knowledge stored in different parts of the model to improve its performance on new tasks. Based these findings, we propose a simple framework prompt-SelF for visual in-context learning. Specifically, we first use the pixel-level retrieval method to select a suitable prompt, and then use different prompt fusion methods to activate all the knowledge stored in the large-scale model, and finally ensemble the prediction results obtained from different prompt fusion methods to obtain the final prediction results. And we conduct extensive experiments on single-object segmentation and detection tasks to demonstrate the effectiveness of prompt-SelF. Remarkably, the prompt-SelF has outperformed OSLSM based meta-learning in 1-shot segmentation for the first time. This indicated the great potential of visual in-context learning. The source code and models will be available at https://github.com/syp2ysy/prompt-SelF.

研究の動機と目的

• 視覚的イン・コンテキスト学習の性能に影響を与える要因を特定・分析すること。
• プロンプト選択の品質とプロンプト統合戦略が、下流タスクの精度に与える影響を調査すること。
• プロンプト選択と統合を最適化するフレームワークを構築し、視覚タスクにおける性能を最大化すること。
• プロンプト選択と統合戦略の強化によりドメインシフトに対するロバストネスを向上させること。
• prompt-SelFが、少サンプル視覚セグメンテーションにおいてメタラーニングベースラインを上回ることを実証すること。

提案手法

• クエリ画像と空間的に類似した高品質なプロンプトをピクセル単位の検索により選択する。
• クエリ画像とプロンプト画像を1つの入力に統合する複数のプロンプト統合手法を適用し、8種類の異なる部分画像配置を用いる。
• 異なる統合手法からの予測を統合するためのアンサンブル戦略を採用し、多数決では4/8の閾値を用いる。
• 低品質なプロンプトの悪影響を軽減するため、閾値ベースのアンサンブルメカニズムを導入する。
• さまざまな統合パターンを用いて、大規模なビジョンモデルの異なる層から知識を活性化する。
• 多様なプロンプト選択および統合戦略を用いて、単一オブジェクトセグメンテーションおよび検出ベンチマークでフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 プロンプト選択の品質は、視覚的イン・コンテキスト学習の性能にどのように影響するか？
• RQ2 異なるプロンプト統合アレンジメントは、モデルの予測精度にどのような影響を及えるか？
• RQ3 複数の統合戦略からのアンサンブル予測は、ロバストネスと性能を向上させることができるか？
• RQ4 prompt-SelFは、少サンプルセグメンテーションにおいてメタラーニングベースラインと比較してどのように性能を発揮するか？
• RQ5 ピクセル単位の検索は、視覚的イン・コンテキスト学習においてドメインシフトをどれほど軽減できるか？

主な発見

• プロンプト選択は性能に顕著な影響を及ぼし、空間的に類似したプロンプトはより高いIoUスコアを達成する。
• 異なるプロンプト統合手法は、大規模モデルにおける異なる知識表現を活性化させ、予測結果に差を生じさせる。
• 4/8の閾値を用いたアンサンブル戦略が、セグメンテーションタスクで最適な性能を達成する。
• prompt-SelFは、1ショットセグメンテーションにおいてOSLSMに基づくメタラーニングを上回り、これが初めての成果である。
• ピクセル単位の検索は、画像単位の検索よりもドメインシフトに対してよりロバストであるが、特にプロンプトとクエリのデータセットが異なる場合に顕著である。
• アンサンブル統合によるプロンプト数の増加は、解像度を低下させることなく性能を向上させることができ、従来のグリッドベース手法とは対照的である。