[論文レビュー] Semantic Image Synthesis via Adversarial Learning

Hao Dong, Simiao Yu+2 more|arXiv (Cornell University)|Jul 21, 2017

Generative Adversarial Networks and Image Synthesis被引用数 38

ひとこと要約

本稿では、自然言語による記述に従って、関係のない画像特徴を保持しつつ、ソース画像を意味的に操作することで現実的な画像を生成するGANベースのモデルを提案する。画像とテキストのモダリティを統合的に符号化し、敵対的訓練を用いることで、ターゲットの記述に一致する多様で高品質な画像を合成し、鳥および花のデータセットにおけるユーザーレビューでベースラインを上回った。

ABSTRACT

In this paper, we propose a way of synthesizing realistic images directly with natural language description, which has many useful applications, e.g. intelligent image manipulation. We attempt to accomplish such synthesis: given a source image and a target text description, our model synthesizes images to meet two requirements: 1) being realistic while matching the target text description; 2) maintaining other image features that are irrelevant to the text description. The model should be able to disentangle the semantic information from the two modalities (image and text), and generate new images from the combined semantics. To achieve this, we proposed an end-to-end neural architecture that leverages adversarial learning to automatically learn implicit loss functions, which are optimized to fulfill the aforementioned two requirements. We have evaluated our model by conducting experiments on Caltech-200 bird dataset and Oxford-102 flower dataset, and have demonstrated that our model is capable of synthesizing realistic images that match the given descriptions, while still maintain other features of original images.

研究の動機と目的

• 自然言語の記述から意味的画像合成を可能にするとともに、テキストに言及されていない画像特徴を維持すること。
• 画像とテキストのモダリティからの意味的表現を分離・統合し、制御可能な画像生成を実現すること。
• 敵対的学習を活用して暗黙的かつ適応的な損失関数を学習するエンドツーエンドの生成モデルを開発すること。
• 未観測のソース画像およびテキスト記述から画像を合成することでゼロショット一般化を達成すること。
• 柔軟な画像操作を可能にするために、生成画像の補間と多様性をサポートすること。

提案手法

• モデルは、生成器がソース画像とテキスト記述を符号化し、それらを合成画像にデコードする条件付きGANフレームワークを採用する。
• 画像とテキストの特徴は、事前学習済みの画像エンコーダおよびテキストエンコーダを別々に用いて符号化され、その後連結されてからデコードされる。
• 識別器は、画像の現実性と指定されたテキスト記述との整合性の両方を評価し、共同最適化を可能にする。
• 敵対的訓練により、生成器が現実的で意味的に整合性のある出力を指向する暗黙の損失関数を学習する。
• 潜在空間における画像またはテキスト埋め込みの線形補間により、ゼロショット補間をサポートする。
• 同じソースと記述から多様な画像出力を生成するために、テキスト埋め込みの拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、関係のない画像特徴を保持しつつ、自然言語の記述に一致する現実的な画像を生成できるか？
• RQ2 モデルは、画像とテキストのモダリティからの意味的表現をどれほどうまく分離・統合でき、制御可能な画像生成に寄与できるか？
• RQ3 モデルは、未観測のソース画像およびテキスト記述（ゼロショット学習）に対してどの程度一般化できるか？
• RQ4 モデルは、画像またはテキスト埋め込みの間で滑らかな補間をサポートできるか、連続的で意味のある潜在多様体を形成できるか？
• RQ5 画像品質、テキスト整合性、特徴保持の観点から、ベースラインと比較してどの程度優れているか？

主な発見

• ユーザーレビューにおいて、本モデルはベースラインを上回り、鳥のポーズでは平均品質スコア1.61、花の形状では1.55を達成し、優れた特徴保持を示した。
• 本モデルは、背景の複雑な詳細（例：葉）をベースラインよりも顕著に良好に維持した。鳥の背景の明瞭さでは平均スコア1.39、花では1.64を記録した。
• VGGベースの損失を用いることで、背景品質がさらに向上し、鳥の背景では平均スコア1.39、花の背景では1.64を達成した。
• 画像埋め込み間の補間により滑らかな遷移が得られ、連続的で意味のある潜在多様体が画像操作に適していることを示した。
• テキスト埋め込み間の補間により、段階的な意味的変化（例：黒い鳥から赤い鳥へ）を反映した画像が正しく生成され、現実的な形状と詳細が保持された。
• 同じソース画像とテキスト記述から、本モデルは多様な出力を生成でき、テキスト埋め込みの拡張の有効性を示した。