[論文レビュー] Learning Continuous Face Age Progression: A Pyramid of GANs

Hongyu Yang, Di Huang+2 more|arXiv (Cornell University)|Jan 10, 2019

Face recognition and analysis参考文献 35被引用数 4

ひとこと要約

本論文は、顔の年齢進行における高い年齢推定精度とアイデンティティ保持性を同時に達成するために、アイデンティティ固有の特徴と年齢固有の特徴を分離することで、GANのピラミッドフレームワークを提案する。マルチスケールディスクライマと adversarial 学習を用いて、写真のようにリアルな連続的年齢進行シーケンスを生成し、MORPH と CACD でそれぞれ約 28 年および 23 年の年齢進行後に 0.001% FAR 時に 99.88% および 99.98% の顔認証精度を達成した。

ABSTRACT

The two underlying requirements of face age progression, i.e. aging accuracy and identity permanence, are not well studied in the literature. This paper presents a novel generative adversarial network based approach to address the issues in a coupled manner. It separately models the constraints for the intrinsic subject-specific characteristics and the age-specific facial changes with respect to the elapsed time, ensuring that the generated faces present desired aging effects while simultaneously keeping personalized properties stable. To ensure photo-realistic facial details, high-level age-specific features conveyed by the synthesized face are estimated by a pyramidal adversarial discriminator at multiple scales, which simulates the aging effects with finer details. Further, an adversarial learning scheme is introduced to simultaneously train a single generator and multiple parallel discriminators, resulting in smooth continuous face aging sequences. The proposed method is applicable even in the presence of variations in pose, expression, makeup, etc., achieving remarkably vivid aging effects. Quantitative evaluations by a COTS face recognition system demonstrate that the target age distributions are accurately recovered, and 99.88% and 99.98% age progressed faces can be correctly verified at 0.001% FAR after age transformations of approximately 28 and 23 years elapsed time on the MORPH and CACD databases, respectively. Both visual and quantitative assessments show that the approach advances the state-of-the-art.

研究の動機と目的

• 既存の手法でしばしば損なわれる、年齢推定精度とアイデンティティの安定性という二重の課題に取り組む。
• 二つの年齢グループ間の遷移に焦点を当て、滑らかで連続的な年齢進行シーケンスを生成できない、従来の GAN ベースの手法の限界を克服する。
• 広範な前処理や被験者内縦断的データを必要とせず、ポーズ、表情、化粧の変化に対しても頑健な年齢進行を可能にする。
• ピラミッド型ディスクライマ構造を用いて、複数スケールでの高レベルの顔特徴をモデル化することで、写真のようにリアルな年齢進行効果を実現する。
• 単一のジェネレータを複数の並列ディスクライマで同時に最適化する訓練スキームを構築し、安定的かつ連続的な年齢進行を保証する。

提案手法

• アイデンティティ固有の属性を保持しながら、ターゲット年齢分布を学習し、年齢進行した顔を合成する CNN ベースのジェネレータを採用する。
• 顔の構造などのアイデンティティ固有特徴と、しわや皮膚の質感などの年齢固有特徴を分離し、時間経過に伴うそれぞれの進化を独立してモデル化する。
• 複数スケールでの高レベルの顔表現を推定するピラミッド型 adversarial ディスクライマを導入し、年齢進行の詳細なモデリングを可能にする。
• ピixe レベルの L1 損失、年齢変換に特化した年齢関連 GAN 損失、およびアイデンティティ依存損失を組み合わせた複合的訓練クリティックを設計し、アイデンティティ保持性の安定化を図る。
• 単一のジェネレータと複数の並列ディスクライマを用いた adversarial 学習スキームを実装し、滑らかで連続的な年齢進行シーケンスを実現する。
• 推論時に唯一 2 点の瞳孔位置を用いてアライメントを実施し、前処理の要件を最小限に抑え、実用性を高める。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースのフレームワークは、顔の年齢進行において、同時に高い年齢推定精度と強固なアイデンティティ保持性を達成できるか？
• RQ2 単一スケールまたはグローバルディスクライマと比較して、マルチスケールのピラミッド型ディスクライマは、細部にまで及ぶ年齢進行の特徴をどれほど効果的に捉えられるか？
• RQ3 本手法は、ポーズ、表情、化粧の変化に対しても、滑らかで写真のようにリアルな年齢進行シーケンスをどれほど効果的に生成できるか？
• RQ4 複数の並列ディスクライマを用いた本手法の adversarial 訓練スキームは、単一ディスクライマ構成と比較して、年齢進行シーケンスの質と連続性をどのように向上させるか？
• RQ5 本手法は、20 年以上という長期の年齢進行に対しても、アイデンティティの一貫性やリアルさの低下を伴わずに一般化可能か？

主な発見

• MORPH データベースでは、年齢進行が約 28.61 年に達した後、0.001% FAR 時に 99.88% の顔認証精度を達成した。
• CACD データベースでは、年齢進行が約 23.09 年に達した後、0.001% FAR 時に 99.98% の顔認証精度を達成した。
• 人間評価では、71.74% の被験者が本手法を既存手法よりも好んだ一方、19.28% の被験者のみが既存手法を好んだ。
• ポーズや表情の変化に対しても、最小限のゴーストアーチファクトと高い顔の細部の忠実度を維持した写真のようにリアルな年齢進行効果を生成した。
• 商業ツール（Agingbooth や Face of the Future を含む）を含む最先端の手法と比較して、視覚的品質および定量的認証指標の両面で本手法が優れた性能を示した。
• 前処理が最小限（瞳孔アライメントに 2 点の特徴点のみ）であるため、実世界への導入に実用的である。