[論文レビュー] C4Synth: Cross-Caption Cycle-Consistent Text-to-Image Synthesis

K J Joseph, Arghya Pal+2 more|arXiv (Cornell University)|Sep 20, 2018

Multimodal Machine Learning Applications参考文献 19被引用数 4

ひとこと要約

C4Synthは、画像ごとに複数のキャプションを活用するクロスキャプション循環整合性学習を用いた、テキストから画像を生成する新規なフレームワークを提案する。複数のキャプションの補完的情報をもとに、段階的に画像特徴を精錬するキャスケード型および再帰型アーキテクチャを採用することで、CUBおよびOxford-102データセットにおいて最先端のインセプションスコアを達成し、未学習クラスへのゼロショット一般化を実現した。

ABSTRACT

Generating an image from its description is a challenging task worth solving because of its numerous practical applications ranging from image editing to virtual reality. All existing methods use one single caption to generate a plausible image. A single caption by itself, can be limited, and may not be able to capture the variety of concepts and behavior that may be present in the image. We propose two deep generative models that generate an image by making use of multiple captions describing it. This is achieved by ensuring 'Cross-Caption Cycle Consistency' between the multiple captions and the generated image(s). We report quantitative and qualitative results on the standard Caltech-UCSD Birds (CUB) and Oxford-102 Flowers datasets to validate the efficacy of the proposed approach.

研究の動機と目的

• 1枚の画像に対して1つのキャプションに限定されたテキストから画像を生成する手法の意味的制限を克服するため、画像ごとに複数の補完的キャプションを活用すること。
• テキスト記述と視覚的コンテンツの意味的ギャップを縮小するため、クロスキャプションの一貫性をモデル化すること。
• 入力キャプション数の変動に適応可能なスケーラブルなアーキテクチャを構築し、固定アーキテクチャの制限を克服すること。
• キャプションフィードバックを用いて段階的に画像特徴を精錬することで、より現実的で多様かつ詳細な画像を生成すること。

提案手法

• C4Synthは、複数のキャプションと生成画像の間で循環整合性損失を用い、キャプションから画像へのマッピングと画像からキャプションへのマッピングが意味的整合性を保つようにする。
• キャスケード型アーキテクチャは、複数のジェネレータ・ディスクラミネータペアを用い、各ペアがキャプション埋め込みと履歴ブロックに条件付けられて、キャプションを逐次処理する。
• 再帰型バージョンであるRecurrent-C4Synthは、以前のキャプション処理の記憶を保持するための隠れ状態を用い、入力キャプション数の変動に応じた動的適応を可能にする。
• 生成的対抗ネットワーク（GAN）を条件付き設定で用い、テキスト埋め込みから256×256ピクセルの画像を生成する。
• クロスキャプションの循環整合性は、循環的マッピング G₂∘F₂∘G₁∘F₁(t) ≈ t により強制され、複数のキャプション間での意味的整合性が保証される。
• 定量的評価のため、微調整されたInceptionネットワークを用いてインセプションスコアを計算する。

Figure 1: The figure shows two images generated by C4Synth. The corresponding captions that are used while generating images are listed on the left side. (Best viewed in color.)

実験結果

リサーチクエスチョン

• RQ1 同じ画像を記述する複数のキャプションを用いることで、単一キャプション手法と比較して生成画像の品質と多様性が向上するか？
• RQ2 テキストから画像への生成モデルにおいて、複数のキャプションにわたる循環整合性学習をどのように定式化し、強制することができるか？
• RQ3 再帰型アーキテクチャは、アーキテクチャ的制限なしに、変動する入力キャプション数を効果的に処理できるか？
• RQ4 ゼロショット設定において、モデルは未学習クラスにどの程度一般化できるか？

主な発見

• Recurrent-C4Synthは、Oxford-102 Flowersデータセットで3.52 ± 0.15の最先端のインセプションスコアを達成した。
• CUBデータセットでは、Recurrent-C4Synthが4.07 ± 0.13のインセプションスコアを達成し、以前の最先端手法であるHD-GANとほぼ同等の性能を示した。
• Cascaded-C4SynthおよびRecurrent-C4Synthの両方とも、CUBおよびOxford-102の両データセットにおいて、5つのベースライン手法のうち4つを上回るインセプションスコアを達成した。
• モデルはゼロショット一般化を示し、CUBおよびOxford-102データセットの両方で、学習時に見なかったクラスに対しても高品質な画像を生成した。
• 定性的な結果から、Recurrent-C4Synthではタイムステップを経て画像の精錬が段階的に進行していることが示され、各キャプションが画像の詳細向上に寄与していることが確認された。
• 同じキャプションに異なるノイズベクトルを適用することで、同じオブジェクトのスタイリッシュなバリエーション、異なるポーズおよび背景を持つ画像を生成できる。

(a) $Legend:\{\textbf{t}_{i}\}:\text{True Captions; }\{\hat{\textbf{t}}_{i}\}:\text{Generated Captions; }\{\hat{\textbf{I}}_{i}\}:\text{Generated Images; }\textbf{I}:\text{True Image; }\newline \text{CCCL: Cross-Caption Cycle Consistency Loss;}\text{ DL: Discriminator Loss.}$