[論文レビュー] Unsupervised Sketch-to-Photo Synthesis

Runtao Liu, Qian Yu+1 more|arXiv (Cornell University)|Sep 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 5

ひとこと要約

本論文は、タスクを形状変換（スケッチからグレースケール写真）とコンテンツ強化（グレースケールからカラー写真）に分解することで、非教師あり二段階スケッチから写真への変換モデルを初めて提案する。自己教師付きノイズ除去とアテンション機構を用いて、スケッチの抽象化やスタイルの変動に対処する。非ペairedデータから高精細で多様かつ写真に似た結果を達成し、標準的なエッジマップを超えて人間の視覚的認知を反映した意味のあるスケッチを写真から生成するという重要な副次的貢献を有する。

ABSTRACT

Humans can envision a realistic photo given a free-hand sketch that is not only spatially imprecise and geometrically distorted but also without colors and visual details. We study unsupervised sketch-to-photo synthesis for the first time, learning from unpaired sketch-photo data where the target photo for a sketch is unknown during training. Existing works only deal with style change or spatial deformation alone, synthesizing photos from edge-aligned line drawings or transforming shapes within the same modality, e.g., color images. Our key insight is to decompose unsupervised sketch-to-photo synthesis into a two-stage translation task: First shape translation from sketches to grayscale photos and then content enrichment from grayscale to color photos. We also incorporate a self-supervised denoising objective and an attention module to handle abstraction and style variations that are inherent and specific to sketches. Our synthesis is sketch-faithful and photo-realistic to enable sketch-based image retrieval in practice. An exciting corollary product is a universal and promising sketch generator that captures human visual perception beyond the edge map of a photo.

研究の動機と目的

• ペア化されたトレーニングデータが存在しない状況下で、自由なスケッチからリアルで多様な写真を生成するという課題に取り組む。
• スケッチにおける空間的変形と色・テクスチャの欠落という二重の困難に打ち勝つ。
• スケッチと写真の間で直接かつ双方向のマッピングを学習することで、スケッチベースの画像検索を可能にする。
• 従来のエッジマップを越えて人間の視覚的認知を捉える普遍的なスケッチ生成器を開発する。

提案手法

• スケッチから写真への変換を二段階に分解：まずスケッチをグレースケール写真に変換（形状変換）、次に色とテクスチャを強化（コンテンツ強化）。
• 合成ノイズスケッチのコンポジションに対して自己教師付きノイズ除去目的を用い、スケッチの抽象化やスタイル変動に対する耐性を向上させる。
• 翻訳中に関連する構造に注目し、不要な干渉を無視するため、アテンションモジュールを統合する。
• 混合トレーニング戦略を採用し、コンテンツ強化ネットワークが参照画像を必要としない状態でも動作可能にすることで、多様な出力が得られる。
• 双方向アーキテクチャを活用し、形状変換ネットワークが写真からもスケッチを生成できるようにすることで、ドメイン間検索が可能になる。
• ペア化されたスケッチ・写真の例が不要な状態で、完全に非ペアデータセット上でトレーニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 スケッチと写真がペア化されておらず、空間的・スタイル的変動が顕著な状況下でも、非教師ありスケッチから写真への変換が有効に達成可能か？
• RQ2 形状変換とコンテンツ強化の二段階に分けることで、エンドツーエンド手法に比べて忠実度とリアリズムが向上するか？
• RQ3 自己教師付きノイズ除去目的が、スケッチの抽象化やドローイングスタイルの変動に対する耐性を向上させるか？
• RQ4 推論時に参照画像を必要としない状態でも、多様で写真に似た出力を生成できるか？
• RQ5 トレーニング済みモデルが、標準的なエッジマップを超えて人間の視覚的認知に重要な輪郭を捉える普遍的なスケッチ生成器として機能できるか？

主な発見

• 提案された二段階非教師ありモデルは、ペアデータでトレーニングされた教師あり手法（例：Pix2Pix）ですら、非教師ありエッジから写真への変換手法（例：cycleGAN, UGATIT）を上回る性能を達成する。
• スケッチベースの画像検索において、トップ5とトップ20の正確度がそれぞれ37.2%および65.2%に達し、エッジマップへのマッピングを用いるベースライン手法（34.5%および57.7%）を上回る。
• モデルはデータセットに依存せず良好に一般化し、ShoeV2と無関係なpos50Kデータセットでも同程度の性能を示し、ドメインシフトに対して強い耐性を示す。
• 写真からスケッチを生成する機能により、手書き風のスケッチを生成し、人間のスケッチスタイルを模倣する点でCannyやHEDを上回る。
• モデルが生成するスケッチは単なるエッジマップではなく、明度のコントラストを超えて、人間の視覚的認知に重要な内部マークや構造の強調を反映している。
• モデルの双方向性により、クエリとギャラリーを同じドメイン（スケッチまたは写真）にマップすることで、ドメイン間検索が可能になり、検索パイプラインが簡素化される。