[論文レビュー] Face Aging With Conditional Generative Adversarial Networks

Grigory Antipov, Moez Baccouche+1 more|arXiv (Cornell University)|Feb 7, 2017

Face recognition and analysis被引用数 43

ひとこと要約

本稿では、入力顔を再構築しながらも元のアイデンティティを維持するように潜在ベクトルを最適化することで、アイデンティティを保持する顔の加齢化を実現する条件付きGANベースの手法、Age-cGANを提案する。主な貢献は、顔認識精度が82.9%に達する画期的な「アイデンティティ保持最適化」アプローチであり、ベースライン手法を著しく上回っている。

ABSTRACT

It has been recently shown that Generative Adversarial Networks (GANs) can produce synthetic images of exceptional visual fidelity. In this work, we propose the GAN-based method for automatic face aging. Contrary to previous works employing GANs for altering of facial attributes, we make a particular emphasize on preserving the original person's identity in the aged version of his/her face. To this end, we introduce a novel approach for "Identity-Preserving" optimization of GAN's latent vectors. The objective evaluation of the resulting aged and rejuvenated face images by the state-of-the-art face recognition and age estimation solutions demonstrate the high potential of the proposed method.

研究の動機と目的

• 顔の加齢化に際して、元の人物のアイデンティティを保持できないという既存のGANベース手法の限界を是正すること。
• リアルな年齢合成顔画像を生成しつつも、高いアイデンティティ忠実度を維持する手法を開発すること。
• ピクセルレベルの再構築よりもアイデンティティ保持を最優先する新たな潜在ベクトル最適化戦略を導入すること。
• 顔認識および年齢推定モデルを用いて、客観的な妥当性評価を実施すること。
• リアルでアイデンティティ一貫性を持つ顔加齢化を可能にすることで、クロスエイジ顔認識および合成データ拡張の応用を可能にすること。

提案手法

• 本手法は、生成器が潜在ベクトルzとターゲット年齢条件yを受け取り、年齢に応じた顔画像を生成する条件付きGAN、Age-cGANを用いる。
• 入力顔の再構築は、潜在ベクトルz*を最適化することで、再構築損失を最小化すると同時にアイデンティティを保持する二段階プロセスで実施：最初にエンコーダーを用いた初期近似、その後反復的最適化。
• 「アイデンティティ保持最適化」アプローチは、OpenFace埋め込み空間に基づく深層特徴損失を用い、再構築画像が元の画像とアイデンティティ関連特徴で一致することを保証する。
• 最終的な加齢画像は、最適化済み潜在ベクトルz*を保持したまま、生成器入力の年齢条件yをターゲット年齢に変更することで生成する。
• 生成器と判別器は、100エポックにわたりADAM最適化を用いた標準のミニマックスGAN目的関数で訓練される。
• 本手法はピクセルレベルの再構築とアイデンティティに配慮した特徴正則化を組み合わせることで、リアリズムとアイデンティティ忠実度のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 GANベースの手法は、ターゲット年齢に合わせて加齢化されたリアルな顔画像を生成しつつ、元の人物のアイデンティティを保持できるか？
• RQ2 提案された「アイデンティティ保持最適化」潜在ベクトル最適化は、ピクセル単位の最適化に比べて、年齢変換におけるアイデンティティ保持性にどのように優れているか？
• RQ3 生成された合成画像は、最先端の顔認識システムをどれだけ効果的に欺けるか？（クロスエイジシナリオにおいて）
• RQ4 モデルは年齢推定タスクに一般化可能か？ これは、合成出力におけるリアルな年齢表現を示唆する。
• RQ5 アイデンティティ保持最適化アプローチは、加齢以外の顔属性操作（例：アクセサリー追加、顔のひげ変更）にも適用可能か？

主な発見

• 「アイデンティティ保持最適化」アプローチは、再構築画像において顔認識スコアが82.9%に達し、初期再構築（53.2%）およびピクセル単位最適化（59.8%）を著しく上回った。
• 年齢推定CNNは、合成画像では実画像と比較して17%低い精度を示したが、これは年齢表現の高品質さを示している。
• 視覚的検証により、「アイデンティティ保持最適化」手法は顔の骨格構造や目の形状といった重要なアイデンティティ特徴をよりよく保持している一方、ピクセル単位最適化は髪の色のような表面的特徴をよりよく再現していた。
• 本手法は、若年齢顔を高齢顔に、逆に高齢顔を若年齢顔に変換するリアルな年齢進行・逆進行を効果的に生成した。
• モデルは一般化能力を示しており、実画像のみで訓練された年齢推定モデルが、合成出力に対してもほぼ同等の性能を示した。
• 本アプローチは、アクセサリー追加や顔のひげ変更といった他の顔属性操作にも、普遍的なアイデンティティ保持最適化フレームワークの特性から応用可能であることが示された。