[論文レビュー] Example-Guided Style Consistent Image Synthesis from Semantic Labeling

Miao Wang, Guo-Ye Yang+5 more|arXiv (Cornell University)|Jun 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 13

ひとこと要約

本稿では、セマンティックラベルマップから例示画像に従ったスタイル一貫性のある画像生成を実現するための条件付きGANフレームワークを提案する。新規のスタイル一貫性ディスクリミネーター、適応的セマンティック一貫性損失、およびデータサンプリング戦略を用いる。本手法は、顔、ダンス、ストリートビュー合成タスクにおいて、顔認識的で、意味的に正確かつスタイル一貫性のある結果を達成し、定量的・定性的な両評価で先行手法を上回った。

ABSTRACT

Example-guided image synthesis aims to synthesize an image from a semantic label map and an exemplary image indicating style. We use the term "style" in this problem to refer to implicit characteristics of images, for example: in portraits "style" includes gender, racial identity, age, hairstyle; in full body pictures it includes clothing; in street scenes, it refers to weather and time of day and such like. A semantic label map in these cases indicates facial expression, full body pose, or scene segmentation. We propose a solution to the example-guided image synthesis problem using conditional generative adversarial networks with style consistency. Our key contributions are (i) a novel style consistency discriminator to determine whether a pair of images are consistent in style; (ii) an adaptive semantic consistency loss; and (iii) a training data sampling strategy, for synthesizing style-consistent results to the exemplar.

研究の動機と目的

• 入力のラベルマップと整合した意味的正確性と、例示画像と一致するスタイルの一貫性を保つ、写真的でリアルな画像生成の課題に取り組む。
• 高解像度の画像生成において、例示画像のスタイルを保持しつつ意味的整合性を維持できない既存手法の限界を克服する。
• ペアの正例画像を必要としない弱教師付き学習戦略を構築し、動画データを活用してスタイルの一貫性を学習する。
• ポートレート、全身ポーズ、シーン解析など多様なドメインにわたる柔軟な例示ガイドド合成を可能にする。
• スタイルと意味的整合性の両面で、画像生成分野における最先端のパフォーマンスを達成する。

提案手法

• 生成画像と例示画像が同一のスタイルを持つかどうかを評価するスタイル一貫性ディスクリミネーターを導入し、ピクセル単位の敵対的損失を用いる。
• ラベルマップの忠実度を維持する上で重要な特徴に基づいて重みを動的に調整する適応的セマンティック一貫性損失を提案する。
• 動画シーケンスからスタイル一貫性あり・なしの画像ペアをサンプリングし、スタイルディスクリミネーターの学習に用いるデータサンプリング戦略を採用する。
• ピクセル単位のリアルさを保証するため、pix2pixHDアーキテクチャをベースとし、スタイルに敏感なモジュールを統合する。
• 条件付きGANフレームワークを採用し、生成器はセマンティックラベルマップと例示画像を入力とし、スタイル化され、リアルな出力を生成する。
• 敵対的損失、周辺的損失（VGG）、セマンティック一貫性損失を組み合わせたマルチコンポonent損失を用いて生成器を最適化する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANフレームワークは、抽象的なセマンティックラベルマップから生成される写真的出力において、例示画像のスタイルを効果的に保持できるか？
• RQ2 各ラベル-例示ペアに対してペアの正例画像を必要としないで、スタイル一貫性をどのように強制できるか？
• RQ3 意味的整合性とスタイル一貫性を両立させるために、最も効果的な損失構成とトレーニング戦略は何か？
• RQ4 モデルは未学習の例示画像や顔、ダンスポーズ、ストリートシーンなど多様なドメインに一般化可能か？
• RQ5 本手法は、既存の画像対画像変換およびスタイル転送手法と比較して、定量的・定性的にどのように優れているか？

主な発見

• スケッチ→顔合成タスクにおいて、本手法はFrechet Inception Distance (FID) 31.26を達成し、pix2pixHD や PairedMUNIT といったベースラインを上回った。
• 人間の好み評価では、スタイル一貫性において PairedMUNIT より 90.88%、pix2pixHD より 89.12% の比較で好まれた。
• アブレーションスタディの結果、適応的重みを除去するとFIDが35.59に上昇し、スタイル一貫性の敵対的損失を除去するとFIDが58.08に上昇した。これにより、両者の重要性が確認された。
• ストリートビュー合成タスクにおいて、意味的整合性スコア（SPS）は0.333を達成し、pix2pixHD（0.310）と PairedMUNIT（0.160）を上回った。
• 生成画像と例示画像間のVGG特徴距離は0.643であり、強い周辺的類似性を示しており、セマンティック一貫性損失を除去すると0.898に上昇した。
• 定性的な結果から、例示画像とラベルマップの内容（背景やシーン詳細など）が完全に一致しなくても、本モデルはリアルでスタイル一貫性のある画像を生成できることを示した。