[論文レビュー] A Picture is Worth a Thousand Words: A Unified System for Diverse Captions and Rich Images Generation

Yupan Huang, Bei Liu+2 more|arXiv (Cornell University)|Oct 19, 2021

Multimodal Machine Learning Applications参考文献 20被引用数 7

ひとこと要約

本論文では、複数の入力キャプションまたは1枚の画像から、多様なキャプションと豊かな画像を同時に生成する統合的でマルチモodalなトランスフォーマー枠組みを提案する。キャプション間の関係をアンリーキャンスティヴ・オブジェクティブでモデル化し、非自己回帰的デコードを用いることで、キャプション生成における最先端の多様性（Div-1 40.2、Div-2 53.2）と、画像の忠実度の向上（FID 42.1）を達成し、効果的な双方向の画像・テキスト生成を示している。

ABSTRACT

A creative image-and-text generative AI system mimics humans' extraordinary abilities to provide users with diverse and comprehensive caption suggestions, as well as rich image creations. In this work, we demonstrate such an AI creation system to produce both diverse captions and rich images. When users imagine an image and associate it with multiple captions, our system paints a rich image to reflect all captions faithfully. Likewise, when users upload an image, our system depicts it with multiple diverse captions. We propose a unified multi-modal framework to achieve this goal. Specifically, our framework jointly models image-and-text representations with a Transformer network, which supports rich image creation by accepting multiple captions as input. We consider the relations among input captions to encourage diversity in training and adopt a non-autoregressive decoding strategy to enable real-time inference. Based on these, our system supports both diverse captions and rich images generations. Our code is available online.

研究の動機と目的

• 既存モデルにおける1対1の画像・テキストマッピングの制限を克服し、多様なキャプションと豊かな画像の双方向的生成を可能にすること。
• トレーニング中に複数の入力キャプション間の関係をモデル化することで、キャプションの多様性を向上させること。
• 実用的な展開を可能にするために、非自己回帰的デコード戦略によりリアルタイム推論を支援すること。
• 画像からテキストへの生成とテキストから画像への生成を1つのフレームワークに統合し、意味的豊かさと整合性を維持すること。

提案手法

• 画像とテキストトークンの両方を符号化する統合的マルチモダリティ・トランスフォーマー・アーキテクチャを採用し、モダリティ間のクロスアテンションを可能にする。
• 複数の多様なキャプションを[SEP]トークンで連結し、それを入力として豊かな画像の生成に使用する。
• アンリーキャンスティヴトレーニング・オブジェクティブにより、語の繰り返しをペナルティ化し、各キャプションが以前に生成されたものに条件づけられるようにすることで、多様性を促進する。
• テキストから画像への合成のため、Faster R-CNN特徴量の離散的クラスタリングを用いて視覚的トークンを生成する。
• マスク予測k戦略を用いた非自己回帰的デコードにより、わずか4ステップで高速かつリアルタイムの推論を実現する。
• GANベースの画像生成器により、離散的画像トークンを現実的なシーン画像に変換する。

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークは、1枚の画像から多様なキャプションを効果的に生成できるか？
• RQ2 トレーニング中にキャプション間の関係をどのようにモデル化すれば、キャプションの多様性を向上させられるか？
• RQ3 単一のキャプションではなく、複数のキャプションを入力として用いることで、豊かな画像生成が向上するか？
• RQ4 非自己回帰的デコード戦略は、生成品質を損なわずにリアルタイム推論を可能にするか？
• RQ5 キャプション間の依存関係をモデル化することで、キャプションの多様性と画像忠実度の両方がどの程度向上するか？

主な発見

• 提案手法は、MSCOCOでDiv-1 40.2、Div-2 53.2のスコアを達成し、ベースライン比でそれぞれ16.8%および24.9%の絶対的向上を示した。
• CIDEr-Dスコアが80.0（ベースライン100.6）と低くても、定性的な例から、生成されたキャプションは流暢で意味的に意味のあるものであることが示された。
• 複数のキャプションを用いることで、テキストから画像への生成におけるFIDスコアが51.5から42.1に改善され、画像の現実性と分布マッチングの向上が示された。
• 非自己回帰的デコード戦略により、わずか4ステップのサンプリングでリアルタイム推論が可能となり、インタラクティブなアプリケーションに適していることがわかった。
• アンリーキャンスティヴオブジェクティブは、トレーニング中にキャプション間の依存関係をモデル化することで、語の繰り返しを効果的に低減し、キャプションの多様性を向上させた。
• 統合フレームワークは、1つのアーキテクチャ内で画像からテキストへの生成とテキストから画像への生成の両方を効果的にサポートし、双方向性を示した。