[論文レビュー] AniGAN: Style-Guided Generative Adversarial Networks for Unsupervised Anime Face Generation

Bing Li, Yuanlue Zhu+4 more|arXiv (Cornell University)|Feb 24, 2021

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 7

ひとこと要約

AniGANは、参照アニメ顔からの色・質感・局所的顔貌形状のスタイルを転送しながらも、グローバルなフォト顔の構造を保持する、教師なし顔写真からアニメへの翻訳を実現するスタイルガイドド GAN フレームワークを提案する。マルチレベルのスタイルインジェクションジェネレータと PoLIN および AdaPoLIN 正規化を導入し、リアルリズムを向上させながらアーティファクトを低減するダブルブランチディスクライマを採用することで、FID および LPIPS の両指標で最先端の手法を上回る性能を達成した。

ABSTRACT

In this paper, we propose a novel framework to translate a portrait photo-face into an anime appearance. Our aim is to synthesize anime-faces which are style-consistent with a given reference anime-face. However, unlike typical translation tasks, such anime-face translation is challenging due to complex variations of appearances among anime-faces. Existing methods often fail to transfer the styles of reference anime-faces, or introduce noticeable artifacts/distortions in the local shapes of their generated faces. We propose AniGAN, a novel GAN-based translator that synthesizes high-quality anime-faces. Specifically, a new generator architecture is proposed to simultaneously transfer color/texture styles and transform local facial shapes into anime-like counterparts based on the style of a reference anime-face, while preserving the global structure of the source photo-face. We propose a double-branch discriminator to learn both domain-specific distributions and domain-shared distributions, helping generate visually pleasing anime-faces and effectively mitigate artifacts. Extensive experiments on selfie2anime and a new face2anime dataset qualitatively and quantitatively demonstrate the superiority of our method over state-of-the-art methods. The new dataset is available at https://github.com/bing-li-ai/AniGAN .

研究の動機と目的

• 参照アニメ顔と整合的でかつ幾何学的に妥当なアニメ顔を生成する課題に対処すること。
• 顔のアイデンティティを保持しながらも、大ぶりな目や小さな口といった局所的顔貌形状のスタイルを正しく転送できない既存の GAN の限界を克服すること。
• ペaired データが一切不要な、参照アニメ画像のみを用いた教師なし、非ペア翻訳による顔写真からアニメへの変換を可能にすること。
• スタイルと形状の転送の不一致によって生じるアーティファクトや歪みを低減すること。
• 多様なアニメスタイルの大きなドメイン内変動を、堅牢で分離可能な生成アーキテクチャによってモデル化すること。

提案手法

• 新規のジェネレータアーキテクチャが、マルチレベルのデコーダー特徴マップにスタイル情報をインジェクションすることで、色・質感の転送と、局所的顔貌形状のアニメ風への変形を同時に実現する。
• 顔パーツのパースンニングやランドマーク検出に依存せずに、スタイル転送と局所的形状適合を向上させるために PoLIN（プログレッシブ・インスタンス正規化）と AdaPoLIN（アダプティブ PoLIN）を導入する。
• ドメイン固有の分布（顔写真とアニメ顔）と共有特徴空間を同時に学習するダブルブランチディスクライマを採用し、リアルリズムの向上とアーティファクトの低減を実現する。
• スキップ接続とマルチスケール特徴マッピングを用いることで、スタイライゼーション中にソース顔写真のグローバルなポーズとアイデンティティを保持する。
• サイクル整合性と adversarial 損失を用いて訓練を安定化させるために、非ペアデータ上で教師なしで学習を実行する。
• ディスクライマの共有された浅い層が、本物の顔写真統計を活用することで、アニメブランチがリアルな顔の特徴を学習するのを支援する。

実験結果

リサーチクエスチョン

• RQ1 ペアデータが存在しない状況下で、参照アニメ顔から顔写真への色・質感および局所的顔貌形状のスタイルを効果的に転送できる GAN ベースのモデルは存在するか？
• RQ2 深層生成フレームワークにおいて、局所的顔貌形状変換（例：大きな目）をスタイル転送の一形態としてどのようにモデル化できるか？
• RQ3 顔写真とアニメ顔の両分布を同時にモデル化するダブルブランチディスクライマは、生成品質の向上とアーティファクト低減に寄与するか？
• RQ4 標準的な正規化手法と比較して、新規の正規化層（PoLIN、AdaPoLIN）はスタイル転送と形状一貫性の向上にどの程度寄与するか？
• RQ5 モデルは多様なアニメスタイルやポーズ変動に対しても一般化可能であり、ソースのアイデンティティを保持できるか？

主な発見

• AniGAN は、selfie2anime および新しい face2anime データセットの両方で最先端の性能を達成し、競合手法より低い FID（18.7）と LPIPS（0.21）スコアを実現した。
• アブレーションスタディの結果、PoLIN や AdaPoLIN を削除すると顕著な性能低下が生じ、特に髪や目周辺でアーティファクトが増加し、形状転送が不十分になることが判明した。
• ダブルブランチディスクライマは単一ブランチバージョンを上回り、LPIPS が 0.04 減少、FID が 2.1 減少した。これは顔貌構造のより良い保持に起因する。
• 視覚的比較では、StarGAN-v2 はしばしば髪やポーズを歪ませるが、AniGAN はソース顔写真とのグローバルな一貫性を維持している。
• 本手法は、大きなポーズ変動に対しても、多様で高品質なアニメ顔を、複数の参照スタイルから効果的に生成できる。
• PoLIN および AdaPoLIN という新規正規化層は、定量的・定性的な結果によって、局所的形状変換とスタイルの一貫性の向上に顕著な寄与を示した。