[論文レビュー] Sketch-to-Image Generation Using Deep Contextual Completion.

Yongyi Lu, Shangzhe Wu+2 more|arXiv (Cornell University)|Nov 24, 2017

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 7

ひとこと要約

本論文では、スケッチを厳密なエッジガイドではなく弱い制約として扱う文脈的 GAN を提案する。これにより、共有空間で画像とスケッチの両方の補完を同時に学習することで、低品質なスケッチからのより現実的な画像生成が可能になる。この手法は、3つのデータセットにおいて困難な入力に対して最先端の条件付き GAN よりも優れた性能を示し、より現実的で一般化能力に優れた結果を達成する。

ABSTRACT

In this paper we investigate image generation guided by hand sketch. When the input sketch is badly drawn, the output of common image-to-image translation follows the input edges due to the hard condition imposed by the translation process. Instead, we propose to use sketch as weak constraint, where the output edges do not necessarily follow the input edges. We address this problem using a novel joint image completion approach, where the sketch provides the image context for completing, or generating the output image. We train a generated adversarial network, i.e, contextual GAN to learn the joint distribution of sketch and the corresponding image by using joint images. Our contextual GAN has several advantages. First, the simple joint image representation allows for simple and effective learning of joint distribution in the same image-sketch space, which avoids complicated issues in cross-domain learning. Second, while the output is related to its input overall, the generated features exhibit more freedom in appearance and do not strictly align with the input features as previous conditional GANs do. Third, from the joint image's point of view, image and sketch are of no difference, thus exactly the same deep joint image completion network can be used for image-to-sketch generation. Experiments evaluated on three different datasets show that our contextual GAN can generate more realistic images than state-of-the-art conditional GANs on challenging inputs and generalize well on common categories.

研究の動機と目的

• 劣化したスケッチのエッジに過剰に従うため、現実的でない出力が生じる既存の画像間変換モデルの限界を是正すること。
• スケッチを硬直的な制約ではなく文脈的ガイドとして扱うことで、より柔軟で現実的な画像生成を可能にすること。
• 共有された画像-スケッチ空間でスケッチと画像のペアの同時分布を学習し、ドメイン間学習を簡素化すること。
• 同じアーキテクチャを用いて画像からスケッチ、スケッチから画像への両方の生成が可能な統合型ディープネットワークの開発。
• ノイズが多い、または不完全なスケッチ入力に対しても、一般的な画像カテゴリにおいて一般化能力と現実性を向上させること。

提案手法

• 本手法は、ペアドスケッチと画像データを共同で学習することで、共有された画像-スケッチ空間における同時分布を学習する文脈的 GAN を採用する。
• 両方の入力（スケッチと画像）が同等に有効であるとみなされる共同画像表現を用い、両方向の対称的生成を可能にする。
• 生成器が入力スケッチのエッジから逸脱できる自由度を有するように、敵対的訓練によりスケッチの文脈を条件とした現実的な画像生成を実現する。
• 共有された深層特徴抽出器と補完ネットワークを用い、欠損または曖昧な領域を共同表現上で補完する。
• 訓練目的は、生成器が入力スケッチのエッジにだけ従うのではなく、スケッチ全体の文脈に整合した現実的な出力を生成することを促進する。
• スケッチと画像を同等のモodal として扱う統一された空間で学習することで、複雑なドメイン間変換を回避する。

実験結果

リサーチクエスチョン

• RQ1 スケッチを厳密なエッジテンプレートではなく弱い文脈的制約として扱うことで、スケッチから画像への生成が向上するか？
• RQ2 共有空間でスケッチと画像を共同で学習することは、生成画像の現実性と多様性にどのように影響するか？
• RQ3 同じディープネットワークが、一貫した性能で画像からスケッチおよびスケッチから画像への両方の生成を実行できるか、その範囲はどの程度か？
• RQ4 低品質または不完全なスケッチが与えられた場合、提案手法は条件付き GAN よりも一般化能力に優れているか？
• RQ5 入力スケッチのエッジから逸脱を許容しながらも、意味的整合性を保ちつつ、より現実的な出力を生成できるか？

主な発見

• 文脈的 GAN は、特に困難で不完全なスケッチに対して、最先端の条件付き GAN よりもより現実的な画像を生成する。
• モデルは外観生成においてより自由な振る舞いを示し、入力スケッチのエッジに過剰に従わず、意味的整合性を維持する。
• 共同画像表現により、複雑なドメイン間適応を排除することで学習が簡素化され、より安定的で効果的な訓練が実現される。
• 同じディープネットワークを用いてスケッチから画像、画像からスケッチへの両方の生成が可能であり、アーキテクチャの対称性と多様性が示された。
• 一般的な画像カテゴリにおいて、スケッチの品質や完全性の変動に強く、良好な一般化性能を示す。
• 3つのデータセットにおける実験により、ベースラインの条件付き GAN に比べて、現実性と多様性の両面で一貫した性能向上が確認された。