[論文レビュー] Landmark Assisted CycleGAN for Cartoon Face Generation

Ruizheng Wu, Xiaodong Gu+4 more|arXiv (Cornell University)|Jul 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 29

ひとこと要約

本稿では、対応データが存在しない学習データを用いて、顔の顔認識特徴点を活用することで、実写顔とアニメ顔のドメイン間で構造的一致性を強制する、Landmark Assisted CycleGANと呼ばれる新しい画像対画像変換フレームワークを提案する。顔認識特徴点を用いて誘導される特徴点一貫性損失および局所的／グローバルな識別器を導入することで、顔のアイデンティティと顔の構造を保持した高精細なアニメ顔を生成し、アニメ顔データセットにおいてFIDが1988.50に達する最先端の性能を達成した。また、アイデンティティ保持性と現実性においてもユーザーの好みが優れている。

ABSTRACT

In this paper, we are interested in generating an cartoon face of a person by using unpaired training data between real faces and cartoon ones. A major challenge of this task is that the structures of real and cartoon faces are in two different domains, whose appearance differs greatly from each other. Without explicit correspondence, it is difficult to generate a high quality cartoon face that captures the essential facial features of a person. In order to solve this problem, we propose landmark assisted CycleGAN, which utilizes face landmarks to define landmark consistency loss and to guide the training of local discriminator in CycleGAN. To enforce structural consistency in landmarks, we utilize the conditional generator and discriminator. Our approach is capable to generate high-quality cartoon faces even indistinguishable from those drawn by artists and largely improves state-of-the-art.

研究の動機と目的

• 訓練データが対応していない状況下で、実写顔から高品質なアニメ顔を生成する課題に取り組むこと。特に、ドメイン間で幾何的構造が著しく異なる場合の課題に焦点を当てる。
• 顔認識特徴点による明示的な空間的制約を導入することで、標準的なCycleGANが抱える構造的歪みを是正すること。
• 対応した実写－アニメ画像ペアを必要とせずに、アイデンティティ保持性と視覚的妥当性を向上させること。
• 17,920枚のアニメスタイルおよび2,125枚のbitmojiスタイルの画像を含む、大規模な新規データセットを構築し、各画像に顔認識特徴点をアノテートして、学習と評価を可能にする。

提案手法

• 実顔と生成されたアニメ顔の顔認識特徴点間の幾何的対応を強制する特徴点一貫性損失を導入する。
• 画像と特徴点の入力を同時に使用する条件付き生成器および識別器を採用し、翻訳過程での構造的整合性を向上させる。
• 顔全体の構造的一致性を保証するため、特徴点を用いて誘導されるグローバル識別器を設計する。
• 顔認識特徴点の位置に基づいて、目、鼻、口などの重要な顔領域に焦点を当てた局所的識別器を構築し、詳細の精細度を向上させる。
• サイクル一致性損失を備えたCycleGANフレームワークを採用し、特徴点に基づく監視を追加することで、学習の安定化とアーチファクトの低減を実現する。
• 新規データセットにおいて、実顔およびアニメ顔画像の両方に顔認識特徴点をアノテートすることで、画像のアライメントが不要な監視を可能にする。

実験結果

リサーチクエスチョン

• RQ1 顔認識特徴点は、実顔とアニメ顔の間で対応データが存在しない画像対画像変換において、構造的不一致を効果的に低減できるか？
• RQ2 顔認識特徴点を用いた監視は、標準的なCycleGANと比較して、アイデンティティ保持性と視覚的品質の両面でどのように向上するか？
• RQ3 特徴点で定義された領域に焦点を当てた局所的識別器は、生成されたアニメ顔のリアリズムをどの程度向上させるか？
• RQ4 特徴点一貫性損失は、幾何的アーチファクトの低減とサイクル一致性の向上にどのような影響を及ぼすか？
• RQ5 本手法は、未対応のアニメ顔生成タスクにおいて、定量的および定性的に最先端の手法と比較してどのように優れているか？

主な発見

• 本手法は、アニメ顔データセットにおいてFIDが1988.50に達し、CycleGAN（2398.16）およびMUNIT（2749.46）を上回り、実際のアニメ顔と分布的に類似していることを示している。
• ユーザー評価では、bitmojiスタイル顔においてアイデンティティ保持性と全体的な品質の観点で、トップ1およびトップ3の選好率がそれぞれ77%および42%を記録し、最高水準を達成した。
• アブレーションスタディの結果、局所的識別器を削除するとFIDが1993.83に上昇し、視覚的品質向上に貢献していることが確認された。
• 顔認識特徴点一貫性損失は、対応データが存在しない状況下でも、構造的アーチファクトの低減と顔特徴の整合性向上に顕著な効果を示した。
• 本手法は、芸術家が手描きした画像と見分けがつかないほど視覚的に自然なアニメ顔を生成し、定量的指標およびユーザーの好みの両面で既存手法を上回った。