[論文レビュー] Load Balanced GANs for Multi-view Face Image Synthesis

Jie Cao, Yibo Hu+3 more|arXiv (Cornell University)|Feb 21, 2018

Face recognition and analysis参考文献 19被引用数 19

ひとこと要約

本稿では、顔の正面化とポーズ回転の2つの制約付きサブタスクにタスクを分解することで、マルチビュー顔画像合成のためのロードバランスGAN（LB-GAN）を提案する。条件付き自己サイクル損失およびアテンションベースのL2損失を用いた2段階の訓練により、多様なポーズで写真のようにリアルでアイデンティティを保持した顔画像を生成し、制御下および制御外のデータセットにおいて、ポーズ不変顔認識で最先端の性能を達成した。

ABSTRACT

Multi-view face synthesis from a single image is an ill-posed problem and often suffers from serious appearance distortion. Producing photo-realistic and identity preserving multi-view results is still a not well defined synthesis problem. This paper proposes Load Balanced Generative Adversarial Networks (LB-GAN) to precisely rotate the yaw angle of an input face image to any specified angle. LB-GAN decomposes the challenging synthesis problem into two well constrained subtasks that correspond to a face normalizer and a face editor respectively. The normalizer first frontalizes an input image, and then the editor rotates the frontalized image to a desired pose guided by a remote code. In order to generate photo-realistic local details, the normalizer and the editor are trained in a two-stage manner and regulated by a conditional self-cycle loss and an attention based L2 loss. Exhaustive experiments on controlled and uncontrolled environments demonstrate that the proposed method not only improves the visual realism of multi-view synthetic images, but also preserves identity information well.

研究の動機と目的

• 単一画像からのマルチビュー顔画像合成という、視覚的リアリズムとアイデンティティ保持を両立させる不適切に定義された問題に対処すること。
• ノイズの多い背景を含む制御外環境において、外見の歪みを低減し、耐性を高めること。
• リモートコードを用いてヨー角の回転を正確に制御できること。
• 特徴の分離とアイデンティティの一貫性を向上させる訓練戦略を開発すること。
• 合成データを用いて、ポーズ不変顔認識で最先端の性能を達成すること。

提案手法

• LB-GANは2つのペaired GANを採用する：1つは顔の正面化（入力画像の正面化）を目的とした顔正規化器、もう1つは正面化された画像をターゲットポーズに回転させる顔エディタ。
• モデルは2段階の訓練戦略を用いる：まず顔正規化器を事前訓練し、その後、生成器と判別器を共同で微調整する。
• 条件付き自己サイクル損失は、入力画像と再構築画像間のサイクル整合性を強制し、背景ノイズへの耐性を向上させる。
• アテンションベースのL2損失は最適化を顔領域に集中させ、アーティファクトを低減し、アイデンティティの詳細を保持する。
• リモートコードは出力のヨー角を制御し、正確なポーズ操作を可能にする。
• 顔エディタは、正面化された画像とリモートコードの両方を入力として用い、ターゲットビュー画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー顔画像合成を正面化とポーズ回転のサブタスクに分解することで、視覚的リアリズムとアイデンティティ保持が向上するか？
• RQ2 2段階の訓練戦略は、合成画像における顔特徴の品質と分離性を向上させるか？
• RQ3 条件付き自己サイクル損失およびアテンションベースのL2損失は、制御外環境での耐性をどの程度向上させるか？
• RQ4 極端なヨー角においても、写真のようにリアルな画像を生成し、アイデンティティの忠実性を維持できるか？
• RQ5 LB-GANから得られる合成データの使用は、ポーズ不変顔認識性能を向上させるか？

主な発見

• Multi-PIEでは、±15°で99.1%の識別率、±90°で65.4%の識別率を達成し、ベースラインモデルを顕著に上回った。
• IJB-Aでは、92.3%の精度と80.4%のAUCを達成し、FF-GANやDR-GANを上回った。
• 除去実験では、2段階の訓練および正則化損失が不可欠であることが確認され、それらを削除すると識別率が最大6.4%低下した。
• 条件付き自己サイクル損失は背景ノイズの干渉を低減し、制御外環境での視覚的品質を向上させた。
• 合成画像におけるポーズ推定では、実画像と比較して平均誤差が3.5°以内であり、ヨー角の正確な制御が確認された。
• 定性的な結果から、特に極端なポーズにおいて、競合手法に比べて顔のディテールがより明確で、より自然なテクスチャを生成することが示された。