[論文レビュー] Exploring Discrete Diffusion Models for Image Captioning

Zixin Zhu, Yixuan Wei+8 more|arXiv (Cornell University)|Nov 21, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本論文は、長さ予測、集中型アテンションマスク、ベストファースト推論、画像フリー学習を組み合わせることで、自己回帰的手法の限界を克服した画像キャプション用の離散拡散モデル、DDCapを提案する。COCO上ではCIDEr最適化を行わず125.1のSOTAスコアを達成し、キャプション埋め込みタスクでは自己回帰ベースラインを+26.8ポイント上回り、優れた汎化性能と包括的文脈モデリング能力を示した。

ABSTRACT

The image captioning task is typically realized by an auto-regressive method that decodes the text tokens one by one. We present a diffusion-based captioning model, dubbed the name DDCap, to allow more decoding flexibility. Unlike image generation, where the output is continuous and redundant with a fixed length, texts in image captions are categorical and short with varied lengths. Therefore, naively applying the discrete diffusion model to text decoding does not work well, as shown in our experiments. To address the performance gap, we propose several key techniques including best-first inference, concentrated attention mask, text length prediction, and image-free training. On COCO without additional caption pre-training, it achieves a CIDEr score of 117.8, which is +5.0 higher than the auto-regressive baseline with the same architecture in the controlled setting. It also performs +26.8 higher CIDEr score than the auto-regressive baseline (230.3 v.s.203.5) on a caption infilling task. With 4M vision-language pre-training images and the base-sized model, we reach a CIDEr score of 125.1 on COCO, which is competitive to the best well-developed auto-regressive frameworks. The code is available at https://github.com/buxiangzhiren/DDCap.

研究の動機と目的

• テキスト生成がカテゴリカルで、短く、長さが可変であるという特徴を考慮し、画像キャプションに離散的拡散モデルを適用する可能性を検討すること。
• 特に画像キャプションにおけるテキスト生成において、離散的拡散モデルと自己回帰モデルの性能格差を是正すること。
• 変動する長さや離散的トークン空間といった自然言語の特徴に適応するための新規コンポーネントを設計すること。
• キャプション埋め込みタスクを通じてモデルの頑健性と柔軟性を評価し、文脈モデリング能力と誤り耐性の優位性を強調すること。

提案手法

• キャプションのトークン総数を推定する長さ予測ヘッドを導入し、可変長出力の柔軟な処理を可能にする。
• 拡散ステップ中にノイズの多いまたは関連性の低いトークンへのアテンションを抑制することで、情報量の多いトークンに動的に注目する集中型アテンションマスクを採用する。
• 各ステップで最も信頼性の高い上位K個のトークンを優先的に固定することで、後続のステップでのノイズによる誤った変更を防ぐベストファースト推論を採用する。
• 事前学習時に画像条件をマスクすることで、テキストの事前知識を学習する画像フリー学習を採用し、事前知識と画像条件付き生成のバランスを取る。
• CLIPの画像エンコーダーを用いて400万枚の画像-テキストペアで事前学習し、すべてのコンポーネントを拡散フレームワーク内で共同最適化する。
• 推論は、マスクされたトークンから開始し、非自己回帰的かつ文脈に配慮した方法で段階的に回復するノイズ除去プロセスを用いる。

実験結果

リサーチクエスチョン

• RQ1 テキストが離散的かつ長さが可変であるにもかかわらず、離散的拡散モデルが正確で整合性のある画像キャプションを効果的に生成できるか？
• RQ2 長さ予測や集中型アテンションといったキーアーキテクチャコンポーネントが、テキストベースの拡散モデルにおける性能向上にどのように寄与するか？
• RQ3 キャプション生成において、標準的な自己回帰的または完全なノイズ除去アプローチと比較して、ベストファースト推論は誤り蓄積を低減するか？
• RQ4 画像フリー事前学習は、画像信号に依存せず、意味的に根拠のあるキャプションを生成する能力をどの程度向上させるか？
• RQ5 拡散モデルの非自己回帰的かつ柔軟な生成順序は、文脈に敏感なタスク（例：キャプション埋め込み）において、自己回帰モデルを上回る性能を発揮できるか？

主な発見

• DDCapは400万枚の事前学習画像を用いてCOCOデータセットで125.1のCIDErスコアを達成し、最先端の自己回帰モデルと同等の性能を示した。
• キャプション埋め込みタスクでは、自己回帰ベースライン（203.5）を+26.8ポイント上回る230.3のCIDErスコアを記録し、優れた文脈モデリング能力と頑健性を示した。
• 埋め込みタスクにおけるCLIPスコアは76.4と、自己回帰ベースライン（75.7）をわずかに上回り、より良い意味的整合性を示した。
• アブレーションスタディの結果、長さ予測、集中型アテンション、ベストファースト推論、画像フリー学習の各コンポーネントが性能向上に顕著に寄与することが確認された。
• 定性的分析の結果、DDCapは論理的で、物体から関係に至る順序（例：関係の前に物体）でキャプションを生成しており、より良い構造的理解を示唆している。
• 改善の余地は残っているが、モデルはまれに同じ単語を繰り返すことがある。これは後処理や更新された長さ予測を用いた再生成により緩和可能である。