[論文レビュー] SketchyCOCO: Image Generation from Freehand Scene Sketches

Chengying Gao, Qi Liu+4 more|arXiv (Cornell University)|Mar 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 6

ひとこと要約

本稿では、エッジマップを代理の監視として用いることで、スケッチ-画像ペairedデータを必要としない、共有潜在空間を用いたクロスドメイン属性埋め込みを活用した条件付きGANフレームワークEdgeGANを提案する。この手法は、画像生成を前景と背景の段階に分解し、自由なスケッチから制御可能で高精細な合成を実現する。本手法は新しく導入されたSketchyCOCOデータセットにおいて最先端の性能を達成した。

ABSTRACT

We introduce the first method for automatic image generation from scene-level freehand sketches. Our model allows for controllable image generation by specifying the synthesis goal via freehand sketches. The key contribution is an attribute vector bridged Generative Adversarial Network called EdgeGAN, which supports high visual-quality object-level image content generation without using freehand sketches as training data. We have built a large-scale composite dataset called SketchyCOCO to support and evaluate the solution. We validate our approach on the tasks of both object-level and scene-level image generation on SketchyCOCO. Through quantitative, qualitative results, human evaluation and ablation studies, we demonstrate the method's capacity to generate realistic complex scene-level images from various freehand sketches.

研究の動機と目的

• 自由なスケッチ（抽象的で不完全で、スタイルが多様）から、現実的で複雑なシーンレベルの画像を生成するという課題に対処すること。
• テキストやセマンティックマップではなく、直感的な自由なスケッチによってユーザーの意図を表現できる制御可能な画像生成を可能にすること。
• スケッチベースの画像生成におけるデータ不足を克服するため、スケッチ-画像ペアデータを用いずに、エッジマップを代理の監視として用いる学習法を採用すること。
• オブジェクトレベルおよびシーンレベルのスケッチから画像への変換を支援する大規模かつ多様なデータセットであるSketchyCOCOを構築すること。
• スケッチの詳細に合致したリアルな前景を生成すると同時に、妥当で一貫性のある背景を生成できるモデルの開発

提案手法

• 画像とエッジマップを共通のエンコーダーを用いて、共通の埋め込み空間に統合する共有潜在空間を備えた条件付きGAN、すなわちEdgeGANを提案する。
• 高レベルのオブジェクト属性（例：ポーズ、形状、外観）を多様なスケッチスタイルから分離可能な属性ベクトルを用い、未学習のスケッチスタイルに対してもゼロショット一般化を可能にする。
• 画像生成を2段階に分解する：(1) 詳細なスケッチを条件として前景を生成し、(2) 前景と粗い背景スケッチを条件として背景を生成する。
• 生成画像とその対応するエッジマップの整合性を強制するために、ジョイントディスクライマーを採用し、忠実度と現実性を向上させる。
• スケッチ-画像ペアデータを必要とせず、共有潜在空間を活用することで、画像とエッジマップのペアのみを用いてエンドツーエンドに学習する。
• 多スケールディスクライマーを用いることで、特に複雑なシーン領域における局所的およびグローバルな画像品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スケッチ-画像ペアデータを必要とせず、自由なスケッチから現実的で高精細なシーンレベルの画像を生成できる深層生成モデルは存在するか？
• RQ2 抽象的で不完全なドローイングを含む多様なスケッチスタイルに対し、モデルの一般化性能はどの程度高いか？
• RQ3 共有潜在空間は、異なるスケッチスタイルと画像ドメイン間で、分離可能な属性学習をどの程度可能にするか？
• RQ4 前景から生成し、その後背景を生成する段階的生成戦略は、複雑なシーンにおける現実性と一貫性をどの程度向上させるか？
• RQ5 視覚的品質、忠実度、ユーザーパーセプションの観点から、既存のスケッチから画像への変換手法と比較して、本モデルの性能はどの程度高いか？

主な発見

• EdgeGANは、オブジェクトレベルおよびシーンレベルの画像生成において、定量的・定性的な評価で既存手法を上回り、最先端の性能を達成した。
• 人間評価では、FIDスコアがGauGANにわずかに劣るものの、特に前景オブジェクトのリアルさが最も高く評価された。
• 未学習のスケッチスタイル（Canny、FDoG、Photocopy、Photo-sketch、XDoGエッジマップなど）に対しても、良好な一般化性能を示した。
• 背景生成は強固で制御可能である：背景スケッチを追加または変更すると、意味的に整合的かつ妥当なシーン変化が得られた。
• 影の下に物体が存在するようなシーンの詳細（例：キリンの影）を適切に生成できており、空間的・構造的理解が強いことを示した。
• アブレーションスタディにより、共有潜在空間と属性ベクトルが、高レベル属性の分離とゼロショットスケッチ一般化を可能にする上で不可欠であることが確認された。