[論文レビュー] CLIP-Diffusion-LM: Apply Diffusion Model on Image Captioning

Shitong Xu|arXiv (Cornell University)|Oct 10, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、CLIP特徴量を条件付けとして用い、ノイズ除去拡散言語モデルを用いてテキスト生成を行う非自己回帰的画像キャプション生成モデル、CLIP-Diffusion-LMを提案する。Flickr30k+Flickr8kでBLEU-4が0.2470に達し、自己回帰モデルと比較して著しく少ない推論ステップ数で実現した。これにより、拡散モデルが画像キャプションに適用可能で、効率的であることが示された。

ABSTRACT

Image captioning task has been extensively researched by previous work. However, limited experiments focus on generating captions based on non-autoregressive text decoder. Inspired by the recent success of the denoising diffusion model on image synthesis tasks, we apply denoising diffusion probabilistic models to text generation in image captioning tasks. We show that our CLIP-Diffusion-LM is capable of generating image captions using significantly fewer inference steps than autoregressive models. On the Flickr8k dataset, the model achieves 0.1876 BLEU-4 score. By training on the combined Flickr8k and Flickr30k dataset, our model achieves 0.2470 BLEU-4 score. Our code is available at https://github.com/xu-shitong/diffusion-image-captioning.

研究の動機と目的

• 自己回帰モデルの遅い生成速度や、初期トークンの再修正ができないという制限を克服するため、非自己回帰的テキスト生成に拡散モデルを応用することの可能性を検討すること。
• 事前学習済みのCLIPおよびDistilBERTコンponentを用いて、高品質な画像キャプションを生成する拡散ベースの言語モデルの有効性を調査すること。
• 拡散ベースのキャプション生成の文脈において、損失重み付け、ガイドランスケジューリング、特徴量統合手法といった設計選択の実証的評価を行うこと。
• 拡散ベースの画像キャプションにおけるキャプション品質とモデル収束を向上させるためのトレーニングテクニックに関する知見を提供すること。

提案手法

• モデルはCLIPを用いて画像およびテキスト特徴量を抽出し、キャプション埋め込みと、連結または要素ごとの加算によって統合する。
• DistilBERTに基づく拡散言語モデルを訓練し、各タイムステップでノイズを予測することで、潜在的テキストシーケンスのノイズ除去を実行し、元のキャプション埋め込みの再構築を目的とする。
• 推論時に分類器フリーのガイドランスを適用し、分類器を必要とせずに生成品質を向上させる。
• 損失関数には、ノイズ除去項 $ L_{diffuseLM} $、再構築項 $ L_{recon} $、丸め項 $ L_{round} $ が含まれ、収束性と性能のバランスを取るために動的重み付けが施される。
• モデルは、後続のノイズ除去状態ではなく、元のキャプション埋め込み $ x_0 $ を予測するように訓練される。これにより、性能と収束速度の両方が向上する。
• ハイパーパramータのアブレーションスタディとして、初期学習率、損失重み付け、$ x_0 $-予測と $ x_{s_t - n} $-予測の比較を行い、最適な設定を同定する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの言語モデルは、自己回帰的生成と比較して、非自己回帰的かつ競争的な性能で画像キャプションを効果的に生成できるか？
• RQ2 特に丸め項と動的重み付けの損失関数部品が、モデルの収束性とキャプション品質に与える影響は何か？
• RQ3 $ x_0 $-予測と $ x_{s_t - n} $-予測の違いが、生成品質とトレーニング安定性に与える影響は何か？
• RQ4 連結と要素ごとの加算という特徴量統合手法のうち、トレーニング安定性のトレードオフを考慮しても、どちらがより優れた性能を発揮するか？
• RQ5 分類器が別途存在しない状況下で、分類器フリーのガイドランスが生成キャプションの品質に与える影響は何か？

主な発見

• 統合されたFlickr8kおよびFlickr30kデータセット上で、BLEU-4スコアが0.2470に達し、自己回帰モデルと比較して著しく少ない推論ステップ数で高い性能を示した。
• $ x_0 $-予測を $ x_{s_t - n} $-予測に置き換えることで、BLEU-4スコアが0.1549（対象：0.1474）に向上し、$ L_{diffuseLM} $ 損失も17.8（対象：22.6）に低下した。収束性と性能の両面で優位性が確認された。
• 連結ベースの特徴量統合手法は、トレーニング損失のフラクチュエーションがやや高いものの、統合データセットで0.2337のBLEU-4スコアを達成し、要素ごとの加算を上回る性能を示した。
• 損失関数に丸め項 $ L_{round} $ を追加することは、モデルの収束にとって不可欠であり、この項の動的重み付けにより性能が向上した。
• 学習率5e-5に線形スケジューリングを適用した場合が最良の性能を示し、統合データセットでBLEU-4スコアが0.2470に達した。
• モデルはわずか5段階の拡散推論ステップで妥当な出力を収束させることができ、自己回帰モデルがシーケンス長に比例したステップを要するのと比較して、著しく効率的であることが示された。