[論文レビュー] High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks

Lidan Wang, Vishwanath A. Sindagi+1 more|arXiv (Cornell University)|Oct 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 12

ひとこと要約

本稿では、複数の特徴マップ解像度で敵対的監視を適用することで高解像度画像を生成する、高品質な顔写真−スケッチ変換のためのマルチ敵対的 GAN フレームワークである PS²-MAN を提案する。CycleGAN をベースにした構造にサイクル整合性と L1 再構成損失を統合することにより、CUHK および CUFSF データセットにおいて、画像品質および顔認識一致精度の両面で最先端の性能を達成した。

ABSTRACT

Synthesizing face sketches from real photos and its inverse have many applications. However, photo/sketch synthesis remains a challenging problem due to the fact that photo and sketch have different characteristics. In this work, we consider this task as an image-to-image translation problem and explore the recently popular generative models (GANs) to generate high-quality realistic photos from sketches and sketches from photos. Recent GAN-based methods have shown promising results on image-to-image translation problems and photo-to-sketch synthesis in particular, however, they are known to have limited abilities in generating high-resolution realistic images. To this end, we propose a novel synthesis framework called Photo-Sketch Synthesis using Multi-Adversarial Networks, (PS2-MAN) that iteratively generates low resolution to high resolution images in an adversarial way. The hidden layers of the generator are supervised to first generate lower resolution images followed by implicit refinement in the network to generate higher resolution images. Furthermore, since photo-sketch synthesis is a coupled/paired translation problem, we leverage the pair information using CycleGAN framework. Both Image Quality Assessment (IQA) and Photo-Sketch Matching experiments are conducted to demonstrate the superior performance of our framework in comparison to existing state-of-the-art solutions. Code available at: https://github.com/lidan1/PhotoSketchMAN.

研究の動機と目的

• 写真とスケッチのモodal 間に生じるドメインギャップのため、写真からスケッチ、あるいはその逆に高解像度で現実的である顔スケッチを生成する課題に対処すること。
• 特に高解像度で顕著なアーティファクトや現実性の欠如を示す、従来の GAN ベースの写真−スケッチ変換手法の課題を克服すること。
• 下流の一致タスクにおける顔認識性能を、写真−スケッチ変換の品質向上によって向上させること。
• ペアデータとサイクル整合性学習を活用して、変換過程でのアイデンティティ保持を保証すること。
• 各段階で敵対的監視を適用することで、低解像度から高解像度へと段階的に特徴を精錬するマルチステージ生成フレームワークの構築すること。

提案手法

• フレームワークは、写真からスケッチへの変換（$G_A$）とスケッチから写真への変換（$G_B$）を実行する二つの生成器を採用し、ペアでない画像間変換を可能にする CycleGAN フレームワーク内で学習する。
• 生成器の複数のデコンボリューション層に敵対的監視を適用することで、低解像度から高解像度の特徴マップへと段階的な精錬が可能になる。
• マルチディスクラミネータアーキテクチャを採用し、各ディスクラミネータが特定の解像度レベルにおける生成画像の現実性を評価することで、忠実度を向上させ、アーティファクトを低減する。
• 訓練目的関数には、サイクル整合性損失と L1 再構成損失を組み合わせ、生成器の正則化とアイデンティティおよび構造的詳細の保持を促進する。
• 生成器アーキテクチャはエンコーダ−デコーダ構造を採用し、ストライド付き畳み込みと逆畳み込みを用い、空間的詳細の保持のためのスキップ接続を備える。
• 敵対的損失、サイクル整合性損失、L1 損失の組み合わせを用いて、エンド・トゥ・エンドで学習することで、現実的で高解像度の出力を保証する。

実験結果

リサーチクエスチョン

• RQ1 複数の解像度レベルでマルチ敵対的訓練を適用することで、写真−スケッチ変換における現実性の向上とアーティファクトの低減が図れるか？
• RQ2 CycleGAN フレームワーク内に L1 再構成損失とサイクル整合性損失を統合することで、アイデンティティ保持と変換品質が向上するか？
• RQ3 提案されたマルチステージ敵対的生成器は、単一ステージの GAN と比較して、高解像度顔画像の生成において優れているか？
• RQ4 PS²-MAN フレームワークは、合成された写真やスケッチを用いた顔認識性能をどの程度向上させるか？
• RQ5 本手法は、過剰に誇張されたフォレンジックスケッチを含む多様なスケッチスタイルに対しても一般化可能か？

主な発見

• CUHK データセットでは、PS²-MAN は写真一致のランク-1レートが 100%、スケッチ一致のランク-1レートが 99% を達成し、すべてのベースラインを上回った。
• より挑戦的な CUFSF データセットでは、PS²-MAN は写真一致のランク-1レートが 47%、スケッチ一致のランク-1レートが 51% を達成し、Pix2Pix（37% と 40%）および CycleGAN（25% と 44%）を顕著に上回った。
• SSIM および FSIM メトリクスにおいて、PS²-MAN は写真およびスケッチ変換の両方で最高スコアを記録し、SSIM は 0.7915 と 0.6156、FSIM は 0.8062 と 0.7361 をそれぞれ達成した。
• 視覚的比較では、PS²-MAN は顔の特徴周辺のアーティファクトを最小限に抑え、Pix2Pix や CycleGAN、DualGAN が顕著な歪みを生じたのと対照的であった。
• アブレーションスタディにより、複数の解像度レベルでのマルチ敵対的監視が画像品質の向上とアーティファクト低減に顕著に寄与することが確認された。
• サイクル整合性損失と L1 再構成損失の組み合わせが、効果的な正則化を提供し、より良いアイデンティティ保持と高い変換忠実度を実現した。