[論文レビュー] Many-Shot In-Context Learning in Multimodal Foundation Models

Yixing Jiang, Jeremy Irvin+4 more|arXiv (Cornell University)|May 16, 2024

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、最大約2,000のマルチモーダルなデモ例を用いて、マルチモーダル基盤モデルにおける多数ショット・イン・コンテキスト・ラーニング（ICL）を調査している。GPT-4oとGemini 1.5 Proの両方が多数ショットICLで顕著な性能向上を示しており、Gemini 1.5 Proはより優れたデータ効率と対数線形の性能向上を示している。一方、クエリバッチ処理により、精度を損なわずにもかかわらず、1例あたりの遅延とコストが削減された。

ABSTRACT

Large language models are effective at few-shot in-context learning (ICL). Recent advancements in multimodal foundation models have enabled unprecedentedly long context windows, presenting an opportunity to explore their capability to perform ICL with many more demonstrating examples. In this work, we evaluate the performance of multimodal foundation models scaling from few-shot to many-shot ICL. We benchmark GPT-4o and Gemini 1.5 Pro across 14 datasets spanning multiple domains (natural imagery, medical imagery, remote sensing, and molecular imagery) and tasks (image classification, visual QA, and object localization). We observe that many-shot ICL, including up to almost 2,000 demonstrating examples, leads to substantial improvements compared to few-shot (<100 examples) ICL across all of the datasets. Further, Gemini 1.5 Pro performance continues to improve log-linearly up to the maximum number of tested examples on many datasets. We also find open-weights multimodal foundation models like Llama 3.2-Vision do not benefit from the demonstrating examples, highlighting an important gap between open and closed multimodal foundation models. Given the high inference costs required for many-shot ICL, we also explore the impact of batching multiple queries in a single API call. We show that batching up to 50 queries can lead to performance improvements under zero-shot and many-shot ICL, with substantial gains in the zero-shot setting on multiple datasets, while drastically reducing per-query cost and latency. Finally, while GPT-4o and Gemini 1.5 Pro achieve similar zero-shot performance across the datasets, Gemini 1.5 Pro learns more quickly than GPT-4o on most datasets. Our results suggest that many-shot ICL could enable users to efficiently adapt multimodal foundation models to new applications and domains. Our codebase is publicly available at https://github.com/stanfordmlgroup/ManyICL .

研究の動機と目的

• 提示例の数を少数ショット（100例未満）から多数ショット（最大1,999例）へと増やした際の、マルチモーダル基盤モデルのイン・コンテキスト・ラーニング（ICL）性能を評価すること。
• GPT-4oとGemini 1.5 Proの間で、多様なマルチモーダルデータセットにおけるデータ効率および性能スケーリングの比較を行うこと。
• 1回のAPIコールに複数のクエリをバッチ処理することによる、推論コスト、遅延、性能への影響を、ゼロショットおよび多数ショットICL設定の両方で調査すること。
• バッチ処理されたゼロショットICLで観察された性能向上のメカニズムを分析し、ドメインキャリブレーションや自己生成デモなど、主な要因を特定すること。
• 多数ショットICLが、ファインチューニングを伴わずに基盤モデルを新しいタスクやドメインに適応させるために実用的かどうかを評価すること。

提案手法

• 自然画像、医用画像、リモートセンシング、分子画像を含む、10のマルチモーダルデータセット（多クラス分類、多ラベル分類、細分化分類タスクを含む）に対して、GPT-4oとGemini 1.5 Proをベンチマーク化する。
• プロンプトに多数のマルチモーダルデモを含めることで、少数ショット（100例未満）から多数ショット（最大1,999例）へのイン・コンテキスト・ラーニングのスケーリングを実現する。
• 異なるショット設定およびクエリバッチ処理の有無の下で、性能向上、データ効率、推論コスト／遅延を測定する。
• 1回のAPIコールに最大50のクエリをバッチ処理することで、1例あたりの遅延とコストを削減し、性能を維持または向上させる。
• アブレーションスタディを通じて、バッチ処理されたゼロショットICLにおける性能向上の原因を分析し、ドメインキャリブレーション、クラスキャリブレーション、自己生成デモが主な要因であると特定する。
• 公平な比較を確保し、データ転送に起因するアーティファクトを最小限に抑えるために、同じハードウェアと場所で実験を実施する。

Figure 1: Many-shot multimodal in-context learning compared to zero-shot and few-shot multimodal ICL. In zero-shot and few-shot settings, respectively, no demonstrating examples or only a small number of demonstrating examples are provided in the context before the test query. In a many-shot ICL set

実験結果

リサーチクエスチョン

• RQ1 少数ショットから多数ショットへのイン・コンテキスト・デモ例の数の増加が、多様なデータセットにおけるマルチモーダル基盤モデルの性能にどのように影響するか？
• RQ2 GPT-4oとGemini 1.5 Proは、多数ショットICLにおけるデータ効率および性能スケーリングの面で、どのように比較されるか？
• RQ3 1回のAPIコールに複数のクエリをバッチ処理することで、1例あたりの推論コストと遅延を削減し、性能を維持または向上させることができるか？
• RQ4 バッチ処理されたゼロショットICLで観察された性能向上の背後にあるメカニズムは何か？
• RQ5 多数ショットICLは、ファインチューニングを伴わず、基盤モデルを新しいタスクやドメインに適応させるために、どの程度代替可能か？

主な発見

• Gemini 1.5 Proの性能は、イン・コンテキスト例の数が増えるにつれて対数線形に向上するが、GPT-4oはそれほど安定した向上を示さない。
• 評価された10のデータセットの多くで、Gemini 1.5 ProはGPT-4oよりも高いイン・コンテキスト・ラーニングのデータ効率を示している。
• 最大50のクエリを1回のAPIコールにバッチ処理することで、単一クエリと比較して、多数ショットICL設定下で1例あたりの遅延が最大35倍短縮され、コストが最大45倍削減された。
• クエリバッチ処理はゼロショット設定でも顕著な性能向上をもたらし、その要因としてドメインキャリブレーション、クラスキャリブレーション、自己生成デモが挙げられる。
• HAM10000では、バッチ処理により1例あたりの遅延が17.3秒から0.54秒に、コストが0.8420ドルから0.0877ドルにまで低下した（350ショットICL）。
• TerraIncognitaでは、バッチ処理により1例あたりの遅延が34.9秒から1.7秒に、コストが1.8420ドルから0.0406ドルにまで低下した（810ショットICL）。

Figure 2: Gemini 1.5 Pro and GPT-4o performance from zero-shot to many-shot ICL. X-axis is in log scale. For Gemini 1.5 Pro, we observe log-linear improvement on 9 out of the 10 datasets and for GPT-4o we observe improvement from more demonstrating examples on most datasets, albeit substantially les