[論文レビュー] Unpaired Photo-to-Caricature Translation on Faces in the Wild

Ziqiang Zheng, Chao Wang+4 more|arXiv (Cornell University)|Nov 29, 2017

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 5

ひとこと要約

本論文は、制約のない現実世界の顔画像を対象とした、ペアなしのフォトからキャリカチャーへの翻訳を実現するGANベースの手法を提案する。二重パスウェイ生成器に粗大・細分化の識別器、知覚的損失、および補助ノイズを用いて、表現的で誇張された、リアルなキャリカチャーを生成する。本手法は、顔の表情や全体的な構造を保持しつつ、最先端の性能を達成する。

ABSTRACT

Recently, image-to-image translation has been made much progress owing to the success of conditional Generative Adversarial Networks (cGANs). And some unpaired methods based on cycle consistency loss such as DualGAN, CycleGAN and DiscoGAN are really popular. However, it's still very challenging for translation tasks with the requirement of high-level visual information conversion, such as photo-to-caricature translation that requires satire, exaggeration, lifelikeness and artistry. We present an approach for learning to translate faces in the wild from the source photo domain to the target caricature domain with different styles, which can also be used for other high-level image-to-image translation tasks. In order to capture global structure with local statistics while translation, we design a dual pathway model with one coarse discriminator and one fine discriminator. For generator, we provide one extra perceptual loss in association with adversarial loss and cycle consistency loss to achieve representation learning for two different domains. Also the style can be learned by the auxiliary noise input. Experiments on photo-to-caricature translation of faces in the wild show considerable performance gain of our proposed method over state-of-the-art translation methods as well as its potential real applications.

研究の動機と目的

• フォトからキャリカチャーへの翻訳という高レベルの画像間翻訳課題に取り組む。この課題は、誇張、風刺、芸術的表現、リアリズムを要する。
• 異なる受容 field を持つ粗大および細分化の識別器を導入することで、現実的な顔の構造と誇張された特徴を区別する識別器の能力を向上させる。
• 生成画像とターゲットドメインの統計とを一致させる知覚的損失を追加することで、特徴の整合性と知覚的品質を向上させる。
• 補助ノイズをスタイル制御メカニズムとして組み込むことで、スタイルの多様性とモデルの耐性を向上させる。
• 洗練されたデータセットにとどまらず、多様で制約のない顔データセットにおいても一般化性と現実世界への適用可能性を示す。

提案手法

• 粗大識別器（顔全体の構造に注目）と細分化識別器（局所的顔の統計に注目）を備えた二重パスウェイGANアーキテクチャ。
• 敵対的損失、サイクル整合性損失、および追加の知覚的損失を用いて訓練される生成器ネットワーク。これにより、誇張下でもアイデンティティの保持とリアリズムの向上が可能になる。
• 補助ノイズを生成器に組み込むことで、誇張の強度や芸術的スタイルといったスタイル属性を分離・制御可能にする。
• ノイズを含んだ訓練により、モデルの耐性が向上し、高いノイズ入力率でさえも一貫した出力を得られる。
• 強化された監視を備えた修正版CycleGAN目的関数を用いて、ペアなしのフォトおよびキャリカチャーデータセット上でエンドツーエンドに訓練される。
• 知覚的損失は、事前学習済みVGGネットワークの特徴を用いて計算され、入力画像と変換画像の間で意味的・構造的整合性を強制する。

実験結果

リサーチクエスチョン

• RQ1 ペアなしの学習データがなくても、GANベースの手法が制約のない現実世界の顔写真を多様で芸術的なキャリカチャーに効果的に翻訳できるか？
• RQ2 粗大および細分化の二重識別器の使用により、顔全体の構造を保持しつつ、局所的特徴（目、鼻、口など）を誇張する能力が向上するか？
• RQ3 追加の知覚的損失が、生成キャリカチャーのリアリズムとアイデンティティ保持にどの程度寄与するか？
• RQ4 補助ノイズを用いて、生成キャリカチャーの芸術的スタイルを効果的に制御・多様化できるか？
• RQ5 特に制約のない現実世界の顔画像において、ノイズの多い入力や複雑な背景に対して、モデルの耐性はどの程度高いか？

主な発見

• 提案手法は、IIIT-CFW、PHOTO-SKETCH、CelebAを含む複数のベンチマークで、最先端のペアなし画像間翻訳手法を上回る性能を示し、高品質なキャリカチャーを生成する。
• 二重識別器設計により、顔全体のレイアウトと局所的顔の詳細（目、鼻、口など）の両方をよりよく捉えることができ、性能が著しく向上した。
• 知覚的損失の追加により、特に顔の表情や臓器の配置において、よりリアリスト的でアイデンティティを保持したキャリカチャーが得られるようになった。
• 補助ノイズのインジェクションにより、スタイルの制御可能な変動が可能となり、異なるノイズ割合で出力に異なる芸術的スタイルが現れる。
• 高いノイズ入力（最大50％）に対してもモデルは耐性を示し、意味的かつ一貫性のあるキャリカチャー生成を維持している。
• KDEF、Yale、FEI、CelebAを含む多様なデータセットにおいても、感情表現や構造的一致性を保持したまま、一般化性能に優れている。