[論文レビュー] Adversarial nets with perceptual losses for text-to-image synthesis

Miriam Cha, Youngjune Gwon+1 more|arXiv (Cornell University)|Aug 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 11

ひとこと要約

本論文は、画素、特徴マップ活性化（VGG）、テクスチャ（グラム行列）の各損失を組み合わせた知覚的損失を用いて、視覚的品質を向上させる条件付きGANフレームワークを提案する。これにより、構造的定義と現実性が著しく向上し、CUBおよびOxford-102データセットで最先端の結果を達成した。GoogLeNetを用いた分類精度は、それぞれ85%の鳥、89%の花を達成した。

ABSTRACT

Recent approaches in generative adversarial networks (GANs) can automatically synthesize realistic images from descriptive text. Despite the overall fair quality, the generated images often expose visible flaws that lack structural definition for an object of interest. In this paper, we aim to extend state of the art for GAN-based text-to-image synthesis by improving perceptual quality of generated images. Differentiated from previous work, our synthetic image generator optimizes on perceptual loss functions that measure pixel, feature activation, and texture differences against a natural image. We present visually more compelling synthetic images of birds and flowers generated from text descriptions in comparison to some of the most prominent existing work.

研究の動機と目的

• テキスト条件付けの正確さを越えて、生成画像の知覚的品質を向上させること。
• 正確なテキスト条件付けにもかかわらず、GANによって生成される画像に見られる構造的欠陥や定義のなさを是正すること。
• 画素、特徴、テクスチャの知覚的損失（ピクセル、VGG、グラム）を条件付きGANに統合し、より現実的な視覚的品質を実現すること。
• 異なる知覚的損失成分が画像品質および分類精度に与える影響を評価すること。
• ベースラインのGAN-INT-CLSに比べ、CUBおよびOxford-102データセットで優れた性能を示すこと。

提案手法

• 判別器からの文脈的損失と知覚的損失を組み合わせた生成器損失を、条件付きGANに拡張する。
• 実画像と生成画像の再構成誤差を最小化するために、ピクセルレベルのL2損失を用いる。
• 事前学習済みのVGG-19ネットワークを用いて、高レベル特徴を一致させるVGGベースの特徴マップ活性化損失を適用する。
• グラム行列に基づくテクスチャ損失を組み込み、知覚的なテクスチャ類似性を保持する。
• 文脈的損失 + 知覚的損失（ピクセル、VGG、またはグラム）の組み合わせを用いて生成器を訓練する。
• トレーニング中に画像-テキストペアの関連性を評価する条件付き判別器を採用する。

実験結果

リサーチクエスチョン

• RQ1 知覚的損失は、テキストから画像への変換におけるGAN生成画像の構造的・視覚的品質を向上させることができるか？
• RQ2 ピクセル、VGG、グラムの各知覚的損失成分は、現実性および物体の定義にどの程度寄与するか？
• RQ3 知覚的損失と文脈的損失を併用することで、文脈的損失単体よりも優れた画像品質が得られるか？
• RQ4 知覚的損失は、生成画像の機械分類精度をどの程度向上させるか？
• RQ5 限られた記述的テキストのもとで、鳥や花など多様な画像クラスに一般化可能か？

主な発見

• GAN-INT-CLS-Gramモデルは、GoogLeNetを用いて85%の鳥分類精度を達成し、ベースライン（76%）および他のバリエーションを上回った。
• GAN-INT-CLS-Gramモデルは、89%の花分類精度を達成し、ベースライン（66%）および他のバリエーションを顕著に上回った。
• 特にグラム行列ベースのテクスチャ損失を用いた知覚的損失が、生成画像の構造的定義と視覚的現実性を向上させた。
• VGGベースの知覚的損失はピクセル損失単体よりも画像品質を向上させたが、花の画像ではグラム損失ほど効果的ではなかった。
• 定性的な結果から、文脈的損失と知覚的損失を併用した画像は、より視覚的に魅力的で構造的に正確であることが示された。
• 本手法は、視覚的差が微細な花の画像において特に顕著に、より明確でクラス特異的な画像を生成することで、一対多問題を効果的に解決した。