[論文レビュー] Prefix-diffusion: A Lightweight Diffusion Model for Diverse Image Captioning

Guisheng Liu, Yi Li+4 more|arXiv (Cornell University)|Sep 10, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

Prefix-diffusion は、一連の連続的プロンプト画像埋め込みをノイズ除去プロセスに組み込むことで、多様で流暢で関連性のあるキャプションを生成する軽量な、拡散ベースの画像キャプション生成モデルを提案する。固定された CLIP エンコーダーと小さな学習可能なマッピングネットワークを活用することで、CLIPベースのベースラインと比較してパラメータ数を 38% 以上削減し、Dist-3 や語彙使用率といった新しい指標において最先端の性能を達成した。

ABSTRACT

While impressive performance has been achieved in image captioning, the limited diversity of the generated captions and the large parameter scale remain major barriers to the real-word application of these systems. In this work, we propose a lightweight image captioning network in combination with continuous diffusion, called Prefix-diffusion. To achieve diversity, we design an efficient method that injects prefix image embeddings into the denoising process of the diffusion model. In order to reduce trainable parameters, we employ a pre-trained model to extract image features and further design an extra mapping network. Prefix-diffusion is able to generate diverse captions with relatively less parameters, while maintaining the fluency and relevance of the captions benefiting from the generative capabilities of the diffusion model. Our work paves the way for scaling up diffusion models for image captioning, and achieves promising performance compared with recent approaches.

研究の動機と目的

• 自動回帰的画像キャプション生成モデルが繰り返し的または一般的なキャプションを生成するという限界を解消すること。
• マルチモodalキャプション生成モデルに一般的に見られる大規模なパラメータ数を低減し、実世界での導入可能性を向上させること。
• 左から右への自動回帰的デコードによる誤差蓄積を回避するため、並列処理が可能な非自動回帰的キャプション生成を可能にすること。
• 視覚言語モダリティのギャップを埋めることで、連続的拡散モデルを画像キャプション生成に効果的に統合すること。
• 特にゼロショットクロスデータセット評価を含む、ドメイン間での強力な一般化性能を達成すること。

提案手法

• 連続的拡散モデルのノイズ除去プロセスに学習されたプロンプト画像埋め込みを組み込み、視覚的コンテンツに基づいてテキスト生成を条件づける。
• トレーニング可能なパラメータを削減するため、事前学習済みの CLIP 画像エンコーダーを固定された特徴抽出器として使用する。
• CLIP 画像特徴を拡散モデリング用のテキスト空間にマッピングするための軽量でトレーニング可能なマッピングネットワークを採用する。
• 意味的整合性を保ち、生成品質を向上させるために、前方拡散プロセスで切り捨てられた線形ノイズスケジュールを適用する。
• 推論時に複数のノイズシードからサンプリングすることで、ビームサーチの制限を避けて多様なキャプションを生成する。
• CLIP を用いた画像-テキスト類似度を用いて、関連性と多様性のバランスを取った上位候補キャプションを選択する。

実験結果

リサーチクエスチョン

• RQ1 連続的拡散モデルは、流暢さと関連性を維持したまま、多様な画像キャプション生成に効果的に適応可能か？
• RQ2 パフォーマンスを損なわせることなく、視覚言語キャプション生成におけるパrameter効率をどのように向上できるか？
• RQ3 拡散ノイズ除去プロセスに視覚的プロンプトを組み込むことで、キャプションの多様性と品質が向上するか？
• RQ4 特にゼロショットクロスデータセット評価において、モデルはドメイン間でどのように一般化するか？
• RQ5 異なるノイズスケジュールが、キャプション品質と意味的保存性にどのような影響を与えるか？

主な発見

• Prefix-diffusion は Dist-3 スコア 109.3 および語彙使用率スコア 107.8 を達成し、それぞれベースラインと比較して 6.3 および 3.1 の向上を示した。
• 既存の CLIP ベース手法と比較して、トレーニング可能なパラメータ数を 38% 以上削減しながら、CIDEr、BLEU、ROUGE-L メトリクスにおいて性能を維持または向上させた。
• クロスドメイン評価では、COCO → Flickr30k においてすべてのベースラインを上回り、特に大規模なデータセットで事前学習された場合に顕著な一般化性能を示した。
• 切り捨てられた線形ノイズスケジュールが優れた結果をもたらし、コサインスケジュールや標準スケジュールと比較して、キャプション品質と記述の正確性が向上した。
• アブレーションスタディの結果、CLIP類似度を用いて上位 k 個のキャプションを選択することで、CIDEr が 105.2 から 109.3 に向上したが、多すぎると流暢さが低下する可能性があることが確認された。
• モデルは豊富な表現と多様な言い回しを持つ多様なキャプションを生成し、自動回帰モデルと比較して人間が作成したキャプションに近い性能を示した。