[論文レビュー] MC-GAN: Multi-conditional Generative Adversarial Network for Image Synthesis

Hyojin Park, Youngjoon Yoo+1 more|arXiv (Cornell University)|May 3, 2018

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 47

ひとこと要約

MC-GAN は、指定位置にテキストで説明された前景オブジェクトを生成し、基底画像の背景を維持する、新規合成ブロックを用いて前景と背景を分離する。

ABSTRACT

In this paper, we introduce a new method for generating an object image from text attributes on a desired location, when the base image is given. One step further to the existing studies on text-to-image generation mainly focusing on the object's appearance, the proposed method aims to generate an object image preserving the given background information, which is the first attempt in this field. To tackle the problem, we propose a multi-conditional GAN (MC-GAN) which controls both the object and background information jointly. As a core component of MC-GAN, we propose a synthesis block which disentangles the object and background information in the training stage. This block enables MC-GAN to generate a realistic object image with the desired background by controlling the amount of the background information from the given base image using the foreground information from the text attributes. From the experiments with Caltech-200 bird and Oxford-102 flower datasets, we show that our model is able to generate photo-realistic images with a resolution of 128 x 128. The source code of MC-GAN is released.

研究の動機と目的

• 基底画像、テキスト、位置を用いた新規のマルチモーダル条件付き合成問題を定義する。
• 学習中に前景と背景を分離する合成ブロックを備えた MC-GAN を開発する。
• 鳥と花のデータセットを横断して、与えられた背景上でフォトリアリスティックなオブジェクト生成を実証する。

提案手法

• テキストを埋め込みに変換し、ノイズベクトルと結合してシード特徴マップを形成する。
• 背景情報を前景特徴でゲートする合成ブロックを用いて、画像とセグメンテーションマスクを生成する。
• 画像、マスク、テキストを評価する複数入力判別器を、real/fake および matching/mismatching 条件で訓練する。
• 条件付け拡張と背景再構成損失を適用して訓練を安定化させ、背景を保持する。
• 任意で StackGAN 風の二段階ジェネレータを追加して、より高解像度の128×128結果を得る。

実験結果

リサーチクエスチョン

• RQ1 GAN は、基底画像の背景を保持しつつ、指定された位置にテキストで説明されたオブジェクトを生成できるか？
• RQ2 合成ブロックアーキテクチャは、マルチモーダル画像合成において前景と背景を効果的に分離できるか？
• RQ3 前のマルチモーダルベースラインと比較して、背景の一体性を維持しつつ前景オブジェクトを追加する点で MC-GAN はどうか？
• RQ4 条件付け拡張と背景再構成損失が訓練の安定性と出力品質に与える影響は？

主な発見

• MC-GAN は、与えられた背景上にテキストで説明された前景オブジェクトを含む128×128の画像を生成できる。
• 合成ブロックは、オブジェクトと背景の重なりを防ぎ現実感を保つために、スイッチ機構を用いて背景情報をゲートする。
• MC-GAN は、基底画像に対象オブジェクトと同様のオブジェクトがない場合でも、背景の細部を保持する。
• 基準となるマルチモーダル手法と比較して、MC-GAN は背景情報をより良く保持し、オブジェクトの質感やポーズが妥当となる。
• テキスト空間とノイズ空間で補間をサポートし、多様で段階的な変化を生成画像にもたらす。