[論文レビュー] Conditional Image Generation and Manipulation for User-Specified Content

David Stap, Maurits Bleeker+2 more|arXiv (Cornell University)|May 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 5

ひとこと要約

本論文は、テキスト記述に基づいて高解像度の顔画像を生成し、学習された潜在空間の方向を介して微細な編集を可能にする、新規モデル textStyleGAN を用いてテキストから画像生成とセマンティックな顔の操作を統合するパイプラインを提案する。主な貢献は CelebTD-HQ データセットと、ユーザーが生成された画像を繰り返し精錬して自分の想像する姿に近づける仕組みであり、法医学的スケッチやストック写真など、実用的なコンテンツ制作において顕著な向上をもたらす。

ABSTRACT

In recent years, Generative Adversarial Networks (GANs) have improved steadily towards generating increasingly impressive real-world images. It is useful to steer the image generation process for purposes such as content creation. This can be done by conditioning the model on additional information. However, when conditioning on additional information, there still exists a large set of images that agree with a particular conditioning. This makes it unlikely that the generated image is exactly as envisioned by a user, which is problematic for practical content creation scenarios such as generating facial composites or stock photos. To solve this problem, we propose a single pipeline for text-to-image generation and manipulation. In the first part of our pipeline we introduce textStyleGAN, a model that is conditioned on text. In the second part of our pipeline we make use of the pre-trained weights of textStyleGAN to perform semantic facial image manipulation. The approach works by finding semantic directions in latent space. We show that this method can be used to manipulate facial images for a wide range of attributes. Finally, we introduce the CelebTD-HQ dataset, an extension to CelebA-HQ, consisting of faces and corresponding textual descriptions.

研究の動機と目的

• 同一のテキスト記述に対して複数の画像が該当しうるという条件付き画像生成におけるギャップに対処し、ユーザーの意図に一致させるのが困難である問題を解決する。
• ユーザーが生成された画像を繰り返し精錬することで、自身の思い描く出力に近づける仕組みを提供し、実用的なコンテンツ制作を可能にする。
• テキストから画像生成と画像生成後のセマンティックな操作を統合したパイプラインを構築する。
• 高解像度の顔画像と詳細な自然言語の記述を備えた新しいデータセット CelebTD-HQ を作成し、微細な画像生成と編集を支援する。
• 事前学習済み textStyleGAN の重みを用いて、再訓練なしで顔の属性（性別、年齢、表情など）のゼロショットセマンティック編集を実現できることを示す。

提案手法

• テキスト埋め込みに条件付けられた GAN ベースのモデル textStyleGAN を提案し、CelebTD-HQ データセットで学習させ、高解像度の顔画像を生成する。
• テキストと画像の特徴を一致させるために、クロスアテンション機構と条件付きバッチ正則化を備えた変更版の StyleGAN アーキテクチャを用いる。
• 敵対的損失、知覚的損失、およびクロスモodal類似度損失の組み合わせを用いて学習することで、意味的整合性を向上させる。
• 実画像の分類手法を用いて潜在空間内の分離された方向を特定し、それらをトレースすることでセマンティックな操作を実行する。
• 250枚の実画像を用いてアーティファクト（例：円形パターン）の有無を判別するバイナリ分類器を訓練し、その結果得られる方向を利用して生成画像からアーティファクトを削除する。
• 事前学習済み textStyleGAN の重みを活用し、再訓練なしで性別、年齢、表情といった顔の属性をリアルなままにセマンティック編集可能にする。

実験結果

リサーチクエスチョン

• RQ1 ユーザー指定のコンテンツに対して、テキストから画像生成とセマンティックな顔の操作を統合したパイプラインが有効に機能するか？
• RQ2 テキストから画像生成モデルは、微細なテキスト記述と整合性の取れる高解像度の顔画像をどれほど効果的に生成できるか？
• RQ3 事前学習済みモデルにおける学習された潜在空間の方向は、どれほど分離され、リアルな顔の属性編集を可能にするか？
• RQ4 潜在空間の操作によって、円形パターンのような GAN 特有のアーティファクトを検出し、除去できるか？
• RQ5 CelebTD-HQ データセットは、既存のベンチマークと比較して、高品質で記述的な画像生成と編集をどれほど効果的に支援するか？

主な発見

• textStyleGAN は、テキストから画像生成のほとんどの指標で最先端の性能を達成し、CelebA-HQ では FID スコアが 15.7、CUB では 17.2 と、先行モデルを上回った。
• 属性分類スコア（例：「笑顔」で 0.93、「若々しい」で 0.90）により、256x256 の高解像度画像が強い意味的整合性を持つことが検証された。
• 学習された方向に沿った潜在空間の操作により、性別、年齢、表情といった顔の属性が、アイデンティティとリアリズムを保持したまま適切に編集された。
• 潜在空間内でのアーティファクト固有の方向を特定し、それらを差し引くことで、StyleGAN が生成した画像から円形アーティファクトを効果的に除去できた。
• 10,000枚の顔画像と完全なテキスト記述を備えた CelebTD-HQ データセットは、高品質なテキストから画像合成を可能にするとともに、下流の編集タスクを支援する。
• 知覚的パス長スコアは、条件付きアテンションを使用した場合に 200.1 であり、ベースラインの StyleGAN（200.5）に近く、高品質で分離性の高い画像を維持していることが示された。