[論文レビュー] LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup

Qiao Gu, Guanzhi Wang+3 more|arXiv (Cornell University)|Apr 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 9

ひとこと要約

LADNは、重複する局所的識別器と非対称損失関数を用いるローカル adversarial disentangling ネットワークを導入し、特に高周波数の詳細を有する複雑でドラマチックなスタイルにおいて、高精細で写真のようにリアルな顔のメイク移動およびメイク除去を実現する。顔の構造とアイデンティティを保ちながら、メイク属性をアイデンティティおよびコンテンツから分離することで、最先端の結果を達成する。

ABSTRACT

We propose a local adversarial disentangling network (LADN) for facial makeup and de-makeup. Central to our method are multiple and overlapping local adversarial discriminators in a content-style disentangling network for achieving local detail transfer between facial images, with the use of asymmetric loss functions for dramatic makeup styles with high-frequency details. Existing techniques do not demonstrate or fail to transfer high-frequency details in a global adversarial setting, or train a single local discriminator only to ensure image structure consistency and thus work only for relatively simple styles. Unlike others, our proposed local adversarial discriminators can distinguish whether the generated local image details are consistent with the corresponding regions in the given reference image in cross-image style transfer in an unsupervised setting. Incorporating these technical contributions, we achieve not only state-of-the-art results on conventional styles but also novel results involving complex and dramatic styles with high-frequency details covering large areas across multiple facial features. A carefully designed dataset of unpaired before and after makeup images is released.

研究の動機と目的

• 従来の GAN ベースの手法が処理できない、高周波数の詳細を有するドラマチカルなメイクスタイルの転送と除去の課題に対処すること。
• グローバル識別器や単一のローカル識別器の限界を克服し、ドメイン間画像変換中に微細なメイクの詳細および顔のアイデンティティを保持すること。
• ペairedトレーニングデータやソース画像とリファレンス画像間の正確なアライメントを必要としない、非教師ありでアイデンティティを保持するメイク移動およびメイク除去を可能にすること。
• コンテンツおよびアイデンティティ要因からメイク属性を分離する、分離可能な表現を設計すること。
• 非営利研究用途のための、前後画像の新しい非ペアドデータセットをリリースすること。

提案手法

• 画像の重複しないが空間的に隣接するパッチに作用する複数の重複する局所的 adversarial 識別器を導入し、画像変換中に局所的詳細の一貫性を強制する。
• コンテンツがドメイン不変空間に符号化され、メイクスタイルがドメイン固有の属性空間に符号化される、コンテンツ-スタイル分離自己符号化器アーキテクチャを採用する。
• メイク移動およびメイク除去の各ブランチに非対称損失関数を適用し、アイデンティティおよびテクスチャ要因からメイク潜在変数を分離するように促進する。
• メイク除去ブランチで滑らかさ損失を用いて、局所的な色の連続性を促進し、高周波数のメイク領域でのアーティファクトを低減する。
• ソース画像と再構築画像間のサイクル整合性損失を組み込み、変換中に構造的およびアイデンティティの保持を保証する。
• 顔のキーポイント検出を用いて局所的識別器の空間的位置を定義し、正確な幾何的アライメントを必要とせずに、ロバストな局所化を実現する。

実験結果

リサーチクエスチョン

• RQ1 グローバル識別器に依存せずに、大規模な顔領域にわたり高周波数のメイク詳細を効果的に転送できるか？
• RQ2 非対称損失関数は、非教師あり設定において、アイデンティティおよびテクスチャ要因からメイク属性を効果的に分離できるか？
• RQ3 複雑な色の遷移やテクスチャを持つ、目や口に限定されないドラマチカルなメイクスタイルにも一般化できるか？
• RQ4 滑らかさ損失は、急激な色の変化や高周波数の詳細を持つ領域で、アーティファクトを低減するためにどれほど効果的か？
• RQ5 分離された属性空間は、顔のアイデンティティを保持したまま、異なるメイクスタイル間の意味的な補間を可能にするか？

主な発見

• LADNは、特に高周波数の詳細を有する極端でドラマチカルなスタイルにおいて、顔のメイク移動およびメイク除去で最先端のパフォーマンスを達成する。
• 本手法は、目や口を越えた広範囲の顔領域をカバーするメイクスタイルの転送および除去に成功し、従来の手法が処理できなかった領域をカバーする。
• 重複する局所的識別器の使用により、グローバルまたは単一のローカル識別器よりも正確な詳細転送が可能となり、アーティファクトが低減され、微細なテクスチャが保持される。
• 非対称損失関数は、メイク潜在変数を効果的に分離し、顔のアイデンティティが保持された写真のようにリアルな出力結果をもたらす。
• 滑らかさ損失は、極端なメイクに対してメイク除去の結果を顕著に改善し、色の不連続性を低減し、妥当な肌色を生成する。
• 2つのメイクスタイル間の補間により、色およびテクスチャの滑らかで自然な遷移が得られ、分離された属性空間の有用性がスタイルの混合および制御に示された。