[論文レビュー] SmallCap: Lightweight Image Captioning Prompted with Retrieval Augmentation

Rita Ramos, Bruno Martins+2 more|arXiv (Cornell University)|Sep 30, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

SmallCapは、外部データベースから関連するキャプションを検索することで、700万パラメータのトレーニング可能なパラメータのみを用いてキャプションを生成する軽量な画像キャプション生成モデルを提案する。このモデルは、再トレーニングや微調整を必要とせず、COCOでは競争力ある性能を達成し、nocapsでは最先端のゼロショット一般化性能を示す。

ABSTRACT

Recent advances in image captioning have focused on scaling the data and model size, substantially increasing the cost of pre-training and finetuning. As an alternative to large models, we present SmallCap, which generates a caption conditioned on an input image and related captions retrieved from a datastore. Our model is lightweight and fast to train, as the only learned parameters are in newly introduced cross-attention layers between a pre-trained CLIP encoder and GPT-2 decoder. SmallCap can transfer to new domains without additional finetuning and can exploit large-scale data in a training-free fashion since the contents of the datastore can be readily replaced. Our experiments show that SmallCap, trained only on COCO, has competitive performance on this benchmark, and also transfers to other domains without retraining, solely through retrieval from target-domain data. Further improvement is achieved through the training-free exploitation of diverse human-labeled and web data, which proves to be effective for a range of domains, including the nocaps benchmark, designed to test generalization to unseen visual concepts.

研究の動機と目的

• 大規模な画像キャプション生成モデルのトレーニングにかかる高い計算コストを軽減すること。
• 微調整を必要とせずに画像キャプションのドメイン移行を可能にすること。
• トレーニングフリーな方法で大規模かつ多様なテキストデータを活用し、一般化性能を向上させること。
• モデルパラメータを削減しながらも、画像キャプションベンチマークで競争力ある性能を維持すること。
• マルチモーダルタスクにおけるコストの高い事前学習や微調整の代替手段として、リtrieval補強を検討すること。

提案手法

• SmallCapは、凍結されたCLIPビジョンエンコーダーと、凍結されたGPT-2言語デコーダーを用い、それらの間のクロスアテンション層のみをトレーニング可能とする。
• モデルは、入力画像と外部データベースから取得したk個の関連キャプションを条件として、キャプションを生成する。
• 検索は、CLIPの埋め込みを用いて画像からテキストへの検索により実施され、意味的に関連するキャプションを特定する。
• 取得したキャプションはデコーダーをガイドするプロンプトとして機能し、パラメータの更新なしに新しい視覚的コンセプトに適応可能となる。
• データベースをドメイン固有の、またはウェブや人手でラベル付けされたキャプションのコレクションに置き換えることで、トレーニングフリーの適応が可能となる。
• 性能評価は、COCO、nocaps、VizWiz、Flickr30kで標準的な指標（CIDEr、BLEU、METEOR）を用いて実施される。

Figure 1 : SmallCap ’s performance on the COCO dataset and on the out-of-domain split of the nocaps dataset, compared to other approaches in terms of number of trainable parameters. We can control the number of trainable parameters through the dimensionality of the cross-attention ( $d=d_{v}=d_{k}$

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能なパラメータを大幅に減らした軽量な画像キャプションモデルが、競争力ある性能を達成できるか？
• RQ2 リtrieval補強型プロンプトが、微調整を必要とせずに効果的なゼロショットドメイン移行を可能にするか？
• RQ3 音声や動画のキャプションなど、画像キャプションとは異なる多様なデータへのアクセスが、未学習の視覚的コンセプトへの一般化を向上させるか？
• RQ4 リtrieval補強が、さまざまなモデルサイズやデータソースにおいてモデル性能にどのように影響を与えるか？
• RQ5 COCOでのみ学習されたモデルが、nocaps や VizWiz などのドメイン外ベンチマークにおいて効果的に一般化できるか？

主な発見

• SmallCapは、COCOテストセットで122.7のCIDErスコアを達成し、トレーニング可能なパラメータが700万個というわずかな数で、ドメイン外ベンチマークでより大きなモデルを上回る性能を示した。
• nocapsベンチマークでは、はるかに大きなモデルを上回る性能を示し、未学習の視覚的コンセプトへの強いゼロショット一般化性能を実証した。
• リtrievalを用いることで、モデルサイズ（180万～2800万パラメータ）にかかわらず性能が安定しており、パラメータ対性能のトレードオフがほぼ最適化されていることが示された。
• リtrievalを除去すると、小規模モデルと大規模モデルの間でCIDErスコアに4.3ポイントの差が生じ、リtrievalが安定性と性能の向上において極めて重要な役割を果たしていることが明らかになった。
• SmallCapは、人手でラベル付けされたキャプションやウェブクロールドキャプションを含む多様なデータソースから恩恵を受けており、VizWizやその他のドメイン外データセットでの性能向上が確認された。
• 視覚的入力なし（空の画像）でのアブレーション実験ではCIDErスコアが90.1に留まり、モデルが単に取得したキャプションを言い換えているのではなく、視覚特徴を実際に活用していることが確認された。

Figure 2 : The SmallCap approach to image captioning. (a) SmallCap generates a caption conditioned on the encoded input image, as well as on a set of $k$ retrieved captions which are used as a task demonstration, input to the decoder as a prompt. (b) The $k$ captions are retrieved from a datastore o