[論文レビュー] Exploring Diverse In-Context Configurations for Image Captioning

Yang Xu, Yongliang Wu+3 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

この論文は、多様な多 modalities in-context 構成 (画像選択とキャプション割り当て) が Vision-Language Models の少数ショット画像キャプションにどう影響するかを調査し、MSCOCO でランダムベースラインに対して最大で 20.9 CIDEr の改善を達成した。

ABSTRACT

After discovering that Language Models (LMs) can be good in-context few-shot learners, numerous strategies have been proposed to optimize in-context sequence configurations. Recently, researchers in Vision-Language (VL) domains also develop their few-shot learners, while they only use the simplest way, ie., randomly sampling, to configure in-context image-text pairs. In order to explore the effects of varying configurations on VL in-context learning, we devised four strategies for image selection and four for caption assignment to configure in-context image-text pairs for image captioning. Here Image Captioning is used as the case study since it can be seen as the visually-conditioned LM. Our comprehensive experiments yield two counter-intuitive but valuable insights, highlighting the distinct characteristics of VL in-context learning due to multi-modal synergy, as compared to the NLP case. Furthermore, in our exploration of optimal combination strategies, we observed an average performance enhancement of 20.9 of CIDEr scores compared to the baseline. The code is given in https://github.com/yongliang-wu/ExploreCfg.

研究の動機と目的

• 画像キャプションをケーススタディとして、Vision-Language Models (VLMs) の多モーダル in-context 学習を動機づける。
• in-context の画像選択とキャプション品質が少数ショットのキャプション性能にどう影響するかを体系的に研究する。
• キャプション品質を最大化する画像選択とキャプション割り当ての組み合わせを特定する。
• ground-truth キャプションが限られる場合に、ショートカットな in-context 推論を緩和し、アンカーを活用する実践的戦略を強調する。

提案手法

• 4つの画像選択戦略を定義する。Random Sampling (RS)、Similarity-based Image-Image Retrieval (SIIR-CLIP および SIIR-TAG)、Diversity-based Image-Image Retrieval (DIIR-TR および DIIR-TT)。
• 4つのキャプション割り当て戦略を定義する。Ground-Truth Captions (GTC)、TFベースおよびVLMベースのソースからのModel-Generated Captions (MGC)、Iteratively Prompting (IP)、およびModel-Generated Captions as Anchors (MGCA)。
• n-shot (4/8/16/32) の画像-キャプションペアとテスト画像を追加して、マルチモーダル in-context シーケンスを構築し、VLM（例: Flamingo や Otter）でキャプションを自己回帰的に生成する。
• MSCOCO (Karpathy split) を CIDEr を主要指標として評価する; shot 数を変化させ、描述性や言語パターンが結果に影響する条件を分析する。
• グラフ（折れ線グラフ/ヒストグラム）で結果を提示し、詳細な数値データを補足する。
• 実践的なガイダンスと、アンカー MGC に導かれて ground-truth キャプションを選択するオプションの MGCA ワークフローを提供する。

実験結果

リサーチクエスチョン

• RQ1 異なる多モーダル in-context 構成（画像選択とキャプション割り当て）は、 few-shot 画像キャプション性能にどのように影響するか？
• RQ2 キャプション品質と描述性は、画像の類似性と相互作用して VLM の性能を決定するか？
• RQ3 モデル生成キャプションをアンカーとして使用することがground-truthキャプションの選択に有益となるのはいつか？
• RQ4 Iterative Prompting は、限られたまたは全く ground-truth キャプションがない状況を緩和できるか、また何回の反復が有益か？
• RQ5 似た in-context 画像がキャプションの再利用につながるショートカット推論を最小化する実践的戦略は何か？

主な発見

反復	MGC-VLM(0)	MGC-VLM(32)
1	63.0	85.3
2	74.1	80.5
3	79.9	79.4
4	79.3	78.9
5	77.3	77.1

• キャプション品質の影響は微妙で、ある画像選択条件ではもっと説明的で複雑なキャプションよりも、もっと妥当で単純な言語パターンが上回ることがある。
• 類似性ベースの画像検索は、キャプションが説明的に適切な場合に役立つことがあるが、in-context画像とテスト画像の高い類似性はショートカット推論を引き起こし、真のキャプショニング学習を減少させる可能性がある。
• MGCA は単独で GTC を使用する場合より一貫して改善を示し、アンカーの種類に応じて平均 CIDEr 増分は 3.2–8.8、SIIR-CLIP と強力なアンカーと組み合わせた場合は最大で 20.9 CIDEr の改善。
• Iterative Prompting は少数回の反復で安定化することができ、特定の設定では IP の2回の反復が、場合によっては全ての ground-truth キャプションを使用するのと同等かそれを上回る。
• 最適戦略（SIIR-CLIP + MGCA 高品質の MGC アンカーを用いる）が、最も大きな平均 CIDEr 改善をもたらす（ランダム基準より 20.9）。
• 2つのオープン結果テーブルは、構成全体での具体的な CIDEr 結果を示す。Table 1 は MGC-VLM アンカーの反復 CIDEr スコアを示し、Table 2 は in-context 画像によるショートカット推論の効果を示す。