[論文レビュー] ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic

Yoad Tewel, Yoav Shalev+2 more|arXiv (Cornell University)|Nov 29, 2021

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

ZeroCapは、CLIPの視覚的・意味的埋め込みと事前学習済み言語モデル（GPT-2）を組み合わせることで、微調整なしに多様で意味的に根拠のあるキャプションを生成するゼロショット画像からテキストへの生成手法を提案する。CLIPの意味的整合性とGPT-2の生成能力を活用することで、画像ベースの類似性や比較といった新しい視覚的・意味的算術が可能となり、視覚的関係ベンチマークで最先端の性能を達成しながらも、高い意味的整合性を維持する。

ABSTRACT

Recent text-to-image matching models apply contrastive learning to large corpora of uncurated pairs of images and sentences. While such models can provide a powerful score for matching and subsequent zero-shot tasks, they are not capable of generating caption given an image. In this work, we repurpose such models to generate a descriptive text given an image at inference time, without any further training or tuning steps. This is done by combining the visual-semantic model with a large language model, benefiting from the knowledge in both web-scale models. The resulting captions are much less restrictive than those obtained by supervised captioning methods. Moreover, as a zero-shot learning method, it is extremely flexible and we demonstrate its ability to perform image arithmetic in which the inputs can be either images or text, and the output is a sentence. This enables novel high-level vision capabilities such as comparing two images or solving visual analogy tests. Our code is available at: https://github.com/YoadTew/zero-shot-image-to-text.

研究の動機と目的

• 微調整やモデル再トレーニングなしにゼロショット画像キャプションを可能とすること。
• スクリプト的で制限されたキャプションを生成する教師ありキャプションモデルの限界を克服し、Web規模の事前学習済みモデルを活用すること。
• 視覚的・意味的算術を可能とし、画像ベースの類似性や比較といった操作を可能とすること。
• 人間がアノテートしたデータセットを超えて、現実世界の知識や意味的多様性を反映したキャプションを生成すること。
• CLIPと言語モデルを組み合わせることで、画像類似性の解決といった高レベルのビジョン能力が実現可能であることを示すこと。

提案手法

• この手法は、CLIPの視覚およびテキストエンコーダーとGPT-2の自己回帰的言語生成を組み合わせ、推論時に画像キャプションを生成する。
• 生成中のデコード段階で、GPT-2のアテンションメカニズムのすべての層とヘッドにおけるキー・バリュー対を変更し、生成されたトークンをCLIPの視覚的・意味的埋め込み空間に整合させる。
• キャプション生成プロセスは完全にゼロショットであり、CLIPとGPT-2の事前学習済み重みのみに依存し、パラメータの更新は一切行わない。
• 画像とテキストを共有のCLIP埋め込み空間内のベクトルとして扱うことで、マルチモーダル算術が可能となり、'AはBであるのと同様に、CはXである'といった操作が可能になる。
• 生成されたキャプションと入力画像の意味的整合性を評価するために、CLIPスコアを主な評価指標として使用する。
• この手法は画像からテキスト、およびテキストから画像への算術もサポートし、たとえば'昼間の画像'を'夜間のバージョン'に変換するテキストプロンプトを用いて変換が可能である。

Figure 1 : Our novel captioning method ZeroCap exhibits real-world knowledge, generates text that is more diverse and less scripted than existing methods, can address the written content of an image, and can perform visual-semantic arithmetic.

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、画像キャプションデータセットでの学習なしに、多様で意味的に豊かなキャプションを生成できるか？
• RQ2 事前学習済みモデルのみを用いて視覚的・意味的算術を実行でき、画像類似性の解決といったタスクが可能になるか？
• RQ3 この手法のキャプション品質は、意味的整合性と多様性の観点から、教師ありベースラインと比較してどの程度優れているか？
• RQ4 モデルが、整理されたデータセットを超えて現実世界の知識をどれだけ反映したキャプションを生成できるか？
• RQ5 画像とテキストを共有の埋め込み空間で統合することで、マルチモーダル推論が可能になるか？

主な発見

• ZeroCapは視覚的関係ベンチマークでCLIPスコア0.70を達成し、ベースラインのClipCap（0.24）を著しく上回り、入力画像との意味的整合性が優れていることが示された。
• 同じベンチマークにおいて、BLEU-1スコアは0.10、Recall@5は0.32を達成し、ClipCapの0.003および0.035と比較してキャプション品質が顕著に向上した。
• 生成されたキャプションは、教師ありモデルのものよりも多様で、よりスクリプト的でなく、広範な現実世界の知識と意味的豊かさを反映している。
• モデルは視覚的・意味的算術を効果的に実行でき、'昼間'と'夜間'といったテキストの方向プロンプトを用いて、'朝食'の画像から'夜食'を生成した。
• この手法により、画像同士の意味的比較や、式 X ∼ C + B - A を用いた視覚的類似性問題の解決といった、新たな高レベルのビジョンタスクが可能になった。
• GPT-3ではなくGPT-2を用いても、強力なゼロショット能力を示しており、大規模な事前学習済みモデルを組み合わせることの有効性が裏付けられた。

Figure 2 : An overview of our approach. We guide the model towards the phrase ‘eagle’ instead of ‘man’. We do this by adjusting the context ( $C_{4}$ ), using the gradients of CLIP loss ( $\mathcal{L}_{\text{CLIP}}$ ) illustrated with a red arrow. To maintain language attributes, we optimize the min