[論文レビュー] Learning Face Age Progression: A Pyramid Architecture of GANs

Hongyu Yang, Di Huang+2 more|arXiv (Cornell University)|Nov 28, 2017

Face recognition and analysis参考文献 39被引用数 16

ひとこと要約

本論文は、顔の年齢進行を高精度に実現するとともに、アイデンティティを保持するためのピラミッド型ディスクラミネーターを用いたGANベースの新規顔年齢進行手法を提案する。複合損失関数を用いて年齢進行の正確性とアイデンティティの安定性を同時に最適化することで、ポーズ、表情、化粧の変化に対して頑健で、写真的リアリズムに優れた性能を達成し、複数のベンチマークで最先端の性能を示した。

ABSTRACT

The two underlying requirements of face age progression, i.e. aging accuracy and identity permanence, are not well studied in the literature. In this paper, we present a novel generative adversarial network based approach. It separately models the constraints for the intrinsic subject-specific characteristics and the age-specific facial changes with respect to the elapsed time, ensuring that the generated faces present desired aging effects while simultaneously keeping personalized properties stable. Further, to generate more lifelike facial details, high-level age-specific features conveyed by the synthesized face are estimated by a pyramidal adversarial discriminator at multiple scales, which simulates the aging effects in a finer manner. The proposed method is applicable to diverse face samples in the presence of variations in pose, expression, makeup, etc., and remarkably vivid aging effects are achieved. Both visual fidelity and quantitative evaluations show that the approach advances the state-of-the-art.

研究の動機と目的

• 顔年齢進行における年齢進行の正確性とアイデンティティの安定性という二重の課題に取り組む。
• 従来のGANベース手法がアイデンティティの安定性よりも年齢変換を重視するという限界を克服する。
• 複数スケールでの高レベルな年齢特徴をモデル化することで、写真的リアリズムの高い年齢進行ディテールを向上させる。
• 教師付きペアデータ（同一被験者の年齢別画像）を必要とせず、ターゲット年齢クラスタごとのデータ密度推定を活用することで、トレーニングに必要なペアデータを排除する。
• 年齢進行プロセスに額と髪の毛の領域を組み込むことで、リアリズムを向上させる。これは従来の研究でしばしば無視されていた領域である。

提案手法

• CNNベースのジェネレーターを用い、年齢変換を学習するとともに、被験者固有の特徴と年齢固有の特徴を別々にモデル化する。
• ピixe レベルのL2損失、年齢のリアリズムを向上させるGAN損失、および高レベル特徴埋め込みによるアイデンティティ損失を統合した複合トレーニングクリティックを採用する。
• 複数スケールで年齢関連特徴を推定できるピラミッド構造のディスクラミネーターを導入し、年齢進行のディテールを精緻化する。
• 顔認証と年齢推定ネットワークを活用して、ジェネレーターがアイデンティティを保持しつつ、年齢に特化した変化を適切に適用できるように誘導する。
• 同一被験者の年齢群間ペアデータを必要とせず、代わりにターゲット年齢クラスタごとのデータ密度をモデル化する。
• 2点の瞳孔ランドマークに基づくアライメントを実施し、前処理の負荷を軽減する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、顔年齢進行において、高精度な年齢進行と強固なアイデンティティ保持性を同時に達成できるか？
• RQ2 単一スケールのディスクラミネーターと比較して、ピラミッド型ディスクラミネーター構造は、年齢進行ディテールのリアリズムと細分化度をどのように向上させるか？
• RQ3 生成プロセスに額と髪の毛の領域を組み込むことで、年齢の正確さの主観的評価はどの程度向上するか？
• RQ4 ペアデータを必要としない本手法は、ポーズ、表情、化粧の変化に対しても一般化可能か？
• RQ5 定量的および定性的に、最先端の手法と比較して、年齢進行のリアリズムとアイデンティティ忠実度の面で本手法はどのように優れているか？

主な発見

• MORPHデータセットでは平均絶対誤差（MAE）が0.79年、CACDデータセットでは0.50年を達成し、1パスウェイディスクラミネーター（それぞれ2.69年および2.52年MAE）を著しく上回った。
• 人間評価では1,380組のペア比較のうち69.78％が本手法を優れていると評価し、視覚的品質の優位性を示した。
• ピラミッドディスクラミネーターはゴーストアーティファクトを低減させ、図8で視覚的に確認されたように、しわや年齢進行ディテールの明瞭さを向上させた。
• ポーズ、表情、化粧の変化に対しても本手法は頑健であり、多様なテスト条件下でも一貫した性能を示した。
• FG-NET、MORPH、CACDデータセットにおいて、深層学習手法および商業ツール（AgingboothやFace of the Future）を凌駕する最先端の結果を達成した。
• 本手法はアライメントに2つのランドマークのみを必要とし、被験者内年齢系列データも不要であるため、データ収集の負荷が著しく軽減された。