[論文レビュー] UFC-BERT: Unifying Multi-Modal Controls for Conditional Image Synthesis

Zhu Zhang, Jianxin Ma+7 more|arXiv (Cornell University)|May 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 65被引用数 23

ひとこと要約

UFC-BERTは、変換器によって処理される離散トークン系列としてすべての入力と出力を表現することにより、テキスト、リファレンス画像、画像ブロックを含む多様なマルチモーダル制御を統合する非自己回帰的で2段階のフレームワークを提案する。この手法は、M2C-FashionおよびMulti-Modal CelebA-HQで検証されたように、高い忠実度と一貫性を実現し、複雑な制御への適合性が向上した高速な画像合成を達成する。

ABSTRACT

Conditional image synthesis aims to create an image according to some multi-modal guidance in the forms of textual descriptions, reference images, and image blocks to preserve, as well as their combinations. In this paper, instead of investigating these control signals separately, we propose a new two-stage architecture, UFC-BERT, to unify any number of multi-modal controls. In UFC-BERT, both the diverse control signals and the synthesized image are uniformly represented as a sequence of discrete tokens to be processed by Transformer. Different from existing two-stage autoregressive approaches such as DALL-E and VQGAN, UFC-BERT adopts non-autoregressive generation (NAR) at the second stage to enhance the holistic consistency of the synthesized image, to support preserving specified image blocks, and to improve the synthesis speed. Further, we design a progressive algorithm that iteratively improves the non-autoregressively generated image, with the help of two estimators developed for evaluating the compliance with the controls and evaluating the fidelity of the synthesized image, respectively. Extensive experiments on a newly collected large-scale clothing dataset M2C-Fashion and a facial dataset Multi-Modal CelebA-HQ verify that UFC-BERT can synthesize high-fidelity images that comply with flexible multi-modal controls.

研究の動機と目的

• テキスト、リファレンス画像、画像ブロックを含む多様なマルチモーダル制御を、1つの条件付き画像生成フレームワークに統合すること。
• 自己回帰的生成における速度、全体的な画像の一貫性、ブロックの保存性の制限を解消すること。
• 自己回帰的生成を避けつつも高い画像品質を維持できる非自己回帰的生成戦略を開発すること。
• 制御適合性と画像忠実度のための専用推定器を備えた段階的精錬メカニズムを導入すること。
• M2C-FashionおよびMulti-Modal CelebA-HQを含む大規模かつ多様なデータセット上でフレームワークを検証すること。

提案手法

• すべての入力制御（テキスト、リファレンス画像、画像ブロック）と出力画像を離散トークン系列として表現し、変換器エンコーダーによる統一処理を実現する。
• 2段階アーキテクチャを採用：第1段階では、条件付きVQ-VAEが制御を符号化し、潜在コードを生成する。第2段階では、非自己回帰的変換器が画像トークンを直接生成する。
• 2つの推定器を用いた段階的精錬アルゴリズムを導入し、反復的に非自己回帰的生成画像を改善する。
• 制御適合性推定器を用いて入力制御（テキスト、リファレンス、ブロック）との整合性を測定し、忠実度推定器を用いて知覚的品質を評価する。
• 学習済み事前分布と反復的精錬を活用し、自己回帰的生成を避けても画像品質を向上させる。
• 制御と画像生成の両方の離散トークン空間を採用することで、エンドツーエンド学習と統一されたモデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークは、テキスト、リファレンス画像、画像ブロックを含む多様なマルチモーダル制御を、条件付き画像生成において効果的に処理できるか？
• RQ2 2段階目の非自己回帰的生成は、自己回帰的ベースラインと比較して、画像の一貫性と合成速度を向上させるか？
• RQ3 専用推定器を用いた反復的精錬は、複雑な制御信号を保持したまま高忠実度の画像生成を達成できるか？
• RQ4 複雑な制御の組み合わせを含む多様で大規模なデータセットにおいて、このフレームワークはどれほど一般化性能を示すか？
• RQ5 従来の2段階自己回帰的モデルと比較して、本手法は忠実度、速度、制御適合性のどの面でも優れているか？

主な発見

• UFC-BERTは、複雑な画像ブロックの保存を含め、多様なマルチモーダル制御に強く適合した高忠実度の画像合成を達成した。
• 非自己回帰的生成ステージにより、自己回帰的対比モデルと比較して顕著に推論速度が向上したが、画像品質は維持された。
• 専用推定器を用いた段階的精錬により、反復処理を通じて画像品質と制御適合性が効果的に向上した。
• M2C-FashionおよびMulti-Modal CelebA-HQにおいて、UFC-BERTは、忠実度および一貫性メトリクスの両面で、従来の2段階自己回帰的モデルを上回った。
• 本フレームワークは、テキスト、リファレンス画像、画像ブロックを含む多様な制御の組み合わせにおいて、強固な一般化性能を示した。
• 統一されたトークンベースの表現により、1つの変換器ベースのアーキテクチャ内で異種の制御信号を効果的にモデリングできた。