[論文レビュー] Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression

Haiping Zhu, Qi Zhou+2 more|arXiv (Cornell University)|Apr 8, 2018

Face recognition and analysis参考文献 20被引用数 15

ひとこと要約

本稿では、顔の加齢と若返りのための条件付きマルチ敵対的オートエンコーダー（CMAAE-OR）を提案する。この手法は、潜在的特徴表現と年齢制御生成を活用することで、アイデンティティ保持と年齢精度の両方を共同最適化する。MORPHデータセット上で平均絶対誤差（MAE）1.48を達成し、年齢推定精度と写実性の両面で先行手法を著しく上回り、離散的年齢群に限定されない任意の年齢での顔合成を可能にする。

ABSTRACT

Facial aging and facial rejuvenation analyze a given face photograph to predict a future look or estimate a past look of the person. To achieve this, it is critical to preserve human identity and the corresponding aging progression and regression with high accuracy. However, existing methods cannot simultaneously handle these two objectives well. We propose a novel generative adversarial network based approach, named the Conditional Multi-Adversarial AutoEncoder with Ordinal Regression (CMAAE-OR). It utilizes an age estimation technique to control the aging accuracy and takes a high-level feature representation to preserve personalized identity. Specifically, the face is first mapped to a latent vector through a convolutional encoder. The latent vector is then projected onto the face manifold conditional on the age through a deconvolutional generator. The latent vector preserves personalized face features and the age controls facial aging and rejuvenation. A discriminator and an ordinal regression are imposed on the encoder and the generator in tandem, making the generated face images to be more photorealistic while simultaneously exhibiting desirable aging effects. Besides, a high-level feature representation is utilized to preserve personalized identity of the generated face. Experiments on two benchmark datasets demonstrate appealing performance of the proposed method over the state-of-the-art.

研究の動機と目的

• 顔の加齢と若返りにおいて、アイデンティティの一貫性を維持するとともに、高い加齢精度を達成するという二重の課題に対処すること。
• 個人差のあるアイデンティティを無視するか、正確な年齢特有の顔を生成できないという先行手法の限界を克服すること。
• 事前に定義された離散的年齢群に制限されない、任意のターゲット年齢における顔の合成を可能にすること。
• 敵対的学習と順序回帰を用いて、写実性と加齢効果の忠実度を向上させること。
• 前処理を必要とせず、眼鏡、ポーズ、遮蔽などの入力変動に対してもロバストであることを保証すること。

提案手法

• 畳み込みエンコーダーが、入力顔画像から個人差を保持する潜在的特徴表現を抽出する。
• 潜在ベクトルが、ターゲット年齢に条件づけられたデコンボリューションジェネレータによって顔多様体上に投影され、年齢制御生成が可能になる。
• マルチ敵対的フレームワークには、写実性を向上させるためのディスクライマーと、正確な年齢推定を強制する別個の順序回帰ヘッドが含まれる。
• モデルは4つの損失成分で訓練される：年齢距離に重み付けされたピクセルレベル再構成損失、事前学習済み特徴埋め込みを用いたアイデンティティ損失、リアルさを向上させるGAN損失、年齢精度を向上させる順序回帰損失。
• 順序回帰損失により、予測された年齢が正しい順序で並び、ターゲット年齢に近づくよう保証され、年齢推定誤差が低減される。
• エンド・トゥ・エンドの訓練により、アイデンティティ保持、年齢精度、視覚的リアリズムの3点を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、顔の合成において、同時に高いアイデンティティ保持と正確な年齢進行／若返りを達成できるか？
• RQ2 順序回帰は、離散的年齢群予測を越えて、顔の加齢タスクにおける年齢推定精度を向上させられるか？
• RQ3 連続的な年齢値でジェネレータを条件づけることで、離散的年齢群モデルに比べて、より正確で自然な加齢効果が得られるか？
• RQ4 眼鏡、非正面ポーズ、顔の遮蔽などの入力変動に対して、この手法はどれほどロバストか？
• RQ5 提案されたフレームワークは、事前に定義された年齢群に限定されず、任意の指定年齢の顔を写実的につくることができるか？

主な発見

• 提案手法は、MORPHデータセット上で平均絶対誤差（MAE）1.48 ± 0.39を達成し、順序回帰を含まないベースライン（10.42 ± 0.73）および他の最先端手法を著しく上回る。
• FGNETデータセットでは、MAEが3.62 ± 0.54を達成し、年齢の微細な変動を含むより困難で多様なデータセットでも優れた性能を示している。
• 順序回帰（R）の導入により、視覚的および定量的結果の両面で加齢精度が著しく向上し、より明確で明確な年齢進行効果が得られている。
• 入力顔に眼鏡、非正面ポーズ、遮蔽が含まれても、最小限のアーチファクトを伴いながらも、高い忠実度の写実的顔が生成され、前処理を必要としないロバスト性を示している。
• フレームワークは、離散的年齢群に限定されず、任意の指定年齢の顔の合成を可能にし、より細分化され、正確な年齢予測が可能になる。
• アブレーションスタディにより、順序回帰部が年齢推定誤差を低減させ、生成顔のリアリズムと正確性を向上させる上で不可欠であることが確認された。