[論文レビュー] NICE: CVPR 2023 Challenge on Zero-shot Image Captioning

Taehoon Kim, Pyunghwan Ahn+40 more|arXiv (Cornell University)|Sep 5, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、2023年CVPRで開催されたNICEというゼロショット画像キャプション生成のチャレンジを紹介する。このチャレンジは、26,000件の多様で高品質な画像・キャプションペアから構成される新規に収集されたデータセットを用いて、視覚言語モデルの性能を評価する。上位の手法、特にデータ拡張と一貫性正則化を用いたファインチューニング済みBLIP-2やBEiT3は、325を超えるCIDErスコアを達成し、ターゲットドメインの訓練データなしで効果的なドメイン適応が可能であることを示している。

ABSTRACT

In this report, we introduce NICE (New frontiers for zero-shot Image Captioning Evaluation) project and share the results and outcomes of 2023 challenge. This project is designed to challenge the computer vision community to develop robust image captioning models that advance the state-of-the-art both in terms of accuracy and fairness. Through the challenge, the image captioning models were tested using a new evaluation dataset that includes a large variety of visual concepts from many domains. There was no specific training data provided for the challenge, and therefore the challenge entries were required to adapt to new types of image descriptions that had not been seen during training. This report includes information on the newly proposed NICE dataset, evaluation methods, challenge results, and technical details of top-ranking entries. We expect that the outcomes of the challenge will contribute to the improvement of AI models on various vision-language tasks.

研究の動機と目的

• 大規模で多様かつ高品質なゼロショット画像キャプションベンチマークの不足を解消すること。
• ターゲットドメインのデータでファインチューニングを行わず、未学習の視覚的コンセプトに一般化できるように視覚言語モデルを挑戦すること。
• 多様な視覚ドメインやキャプションスタイルにわたるモデルの頑健性と公平性を評価すること。
• 体系的な評価とモデル適応を通じて、ゼロショット画像キャプション分野の最先端技術を前進させること。
• ドメイン一般化と視覚言語アライメント分野の研究を促進するための公開ベンチマークを提供すること。

提案手法

• 多様なドメインやコンセプトをカバーする26,000枚の画像と高品質なキャプションを含むNICEデータセットを導入した。
• ターゲットドメインの訓練データを一切提供しないチャレンジを主催し、モデルが未学習の視覚カテゴリにゼロショットで一般化できるかを要請した。
• BLEU、ROUGE-L、CIDEr、METEOR、SPICEといった複数の評価指標を用いてキャプション品質を評価した。
• 上位のモデルは、ゼロ畳み込みアダプタとレイヤー正規化最適化を用いた軽量ファインチューニングによるBLIP-2を採用した。
• 交差エントロピーとKLダイバージェンス損失を用いた教師・生徒フレームワークを用いて一貫性正則化を実施した。
• 大規模言語モデル（LLM）が生成したキャプションとスタイルマッチングを用いたデータ拡張により、ソースドメインとターゲットドメイン間の分布シフトを低減した。

(a) View from sandy beach of picturesque sunset horizon over sea surf lapping on shore

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインのファインチューニングを一切行わず、視覚言語モデルが未学習の視覚的コンセプトにどの程度一般化できるか。
• RQ2 最小限またはターゲットデータなしで、ゼロショット画像キャプションにおける効果的なドメイン適応を可能にする技術は何か。
• RQ3 教師モデルと生徒モデル間の一貫性正則化は、一般化性能を向上させるとともに、深刻な忘却を防ぐのにどの程度寄与するか。
• RQ4 ソースデータセットとターゲットデータセットの間でキャプションスタイルを一致させることで、ゼロショットキャプション性能にどの程度の影響を与えるか。
• RQ5 アダプタとモality特化正規化を用いた軽量ファインチューニングは、多様で未学習の視覚ドメインにおける性能を向上させられるか。

主な発見

• 上位モデルはテストセットでCIDErスコア325.72を達成し、強力なゼロショット一般化能力を示した。
• 2位のモデルはCIDErスコア324.93を記録し、上位エントリ間の性能差が極めて小さいことから、モデルの頑健性が高く保たれていることが示された。
• 一貫性正則化とアダプタベースのファインチューニングを用いたモデルは、標準的なファインチューニングを上回り、特に深刻な忘却の低減に効果的であった。
• LLMが生成したキャプションを用いたデータ拡張により性能が向上し、NICEのキャプションスタイルに一致する場合特に顕著であった。
• BEiT3ベースの手法は、スタイルマッチドデータと新規のキャプション補正メカニズムを活用し、CIDErスコア270.60を達成した。
• NICEデータセットの多様性と高品質なキャプションのおかげで、26,000枚の画像にわたるゼロショット能力の信頼性のある評価が可能になった。

(b) 3D concept of online banking on mobile phone showing services currencies and graphs