[論文レビュー] Look Across Elapse: Disentangled Representation Learning and Photorealistic Cross-Age Face Synthesis for Age-Invariant Face Recognition

Jian Zhao, Cheng Yu+13 more|arXiv (Cornell University)|Sep 2, 2018

Face recognition and analysis被引用数 11

ひとこと要約

本論文は、年齢に依存しない顔認識の性能を向上させるために、分離表現学習とフォトリッチなクロスエイジ顔合成を統合的に実行する統合的深層学習モデル、Age-Invariant Model (AIM) を提案する。本モデルは、分離表現学習ネットワークと顔合成ネットワークを組み合わせた新規アーキテクチャをエンド・トゥ・エンドで訓練することで、ペアデータや真の年齢ラベルを必要とせず、複数のベンチマークで最先端の性能を達成した。特に、FG-NETでは93.20%のランク-1精度を達成し、IJB-CではFAR=10⁻⁵におけるTARが5.50%向上した。

ABSTRACT

Despite the remarkable progress in face recognition related technologies, reliably recognizing faces across ages still remains a big challenge. The appearance of a human face changes substantially over time, resulting in significant intra-class variations. As opposed to current techniques for age-invariant face recognition, which either directly extract age-invariant features for recognition, or first synthesize a face that matches target age before feature extraction, we argue that it is more desirable to perform both tasks jointly so that they can leverage each other. To this end, we propose a deep Age-Invariant Model (AIM) for face recognition in the wild with three distinct novelties. First, AIM presents a novel unified deep architecture jointly performing cross-age face synthesis and recognition in a mutual boosting way. Second, AIM achieves continuous face rejuvenation/aging with remarkable photorealistic and identity-preserving properties, avoiding the requirement of paired data and the true age of testing samples. Third, we develop effective and novel training strategies for end-to-end learning the whole deep architecture, which generates powerful age-invariant face representations explicitly disentangled from the age variation. Moreover, we propose a new large-scale Cross-Age Face Recognition (CAFR) benchmark dataset to facilitate existing efforts and push the frontiers of age-invariant face recognition research. Extensive experiments on both our CAFR and several other cross-age datasets (MORPH, CACD and FG-NET) demonstrate the superiority of the proposed AIM model over the state-of-the-arts. Benchmarking our model on one of the most popular unconstrained face recognition datasets IJB-C additionally verifies the promising generalizability of AIM in recognizing faces in the wild.

研究の動機と目的

• 顔の外見が著しく変化する実世界の状況において、年齢に依存しない顔認識の課題に対処すること。
• 年齢に依存しない顔の表現を同時に学習し、フォトリッチな年齢進化または逆年齢化顔を合成することで、相互に認識性能を向上させること。
• テストサンプルのペアデータや真の年齢ラベルに依存しないようにすること。
• 将来のクロスエイジ顔認識研究を支援する大規模かつ多様なベンチマークデータセット（CAFR）を構築すること。
• 制約のない条件下で、継続的かつアイデンティティを保持する高精細な顔の若返りと年齢化を可能にすること。

提案手法

• 分離表現学習ネットワーク（RLN）と顔合成ネットワーク（FSN）を統合したエンド・トゥ・エンドで訓練可能な深層アーキテクチャを設計。
• GANベースのオートエンコーダー枠組みを採用し、RLNが敵対的訓練を用いてアイデンティティ固有の特徴と年齢固有のコンポonentを分離する。
• ペアデータや真の年齢ラベルを必要とせず、表現の分離とフォトリッチな顔合成を同時に最適化する新規な訓練戦略を導入。
• 敵対的損失、再構成損失、アイデンティティの一貫性損失を組み合わせたマルチタスク損失関数を用い、アイデンティティの保持とリアリズムの向上を図る。
• 条件付きGANの設定を採用し、生成器が潜在表現に基づいてターゲット年齢の顔を合成するように学習する。
• 訓練とデータ拡張のために新たに提案されたCAFRデータセットを活用し、モデルのロバスト性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分離表現学習とフォトリッチなクロスエイジ顔合成を統合的に学習することで、年齢に依存しない顔認識性能が顕著に向上するか？
• RQ2 ペアデータや真の年齢ラベルを必要とせず、統合的深層モデルが高精細な顔の若返りと年齢化を実現できるか？
• RQ3 分離表現と合成部のエンド・トゥ・エンド訓練が、広い年齢ギャップを有する顔認識性能にどのように向上効果をもたらすか？
• RQ4 提案されたCAFRベンチマークは、モデルの一般化性能をどの程度向上させ、最先端手法間の公平な比較を可能にするか？
• RQ5 モデルは、IJB-Cのような制約のない、実環境下の顔認識シナリオにも効果的に一般化できるか？

主な発見

• 提案されたAIMは、FG-NETベンチマークで93.20%のランク-1認識精度を達成し、前回の最先端手法を5.10ポイント上回った。
• IJB-Cベンチマークでは、TAR@FAR=10⁻⁵が0.826に達し、2番目に優れた手法を5.50ポイント上回った。
• 制約のないデータセットにおいても強力な一般化性能を示し、CAFRデータセットを増強学習データとして微調整した際、0.38%の向上を示した。
• 定性的な結果から、AIMはポーズ、表情、遮蔽などの困難な条件下でも、極めてフォトリッチでアイデンティティを保持した年齢進化・若返りの結果を生成していることが明らかになった。
• AIMが学習する分離表現は、年齢変動に対して明示的に不変であることが実証され、多様な年齢層において一貫した性能を示した。
• 10,000人の被験者からなる10万枚の画像を含み、広い年齢範囲と多様な文化的背景を持つ、提案されたCAFRデータセットは、よりロバストで一般化可能な訓練を可能にした。