[論文レビュー] Personalized and Occupational-aware Age Progression by Generative Adversarial Networks

Siyu Zhou, Weiqiang Zhao+5 more|arXiv (Cornell University)|Nov 26, 2017

Face recognition and analysis参考文献 6被引用数 15

ひとこと要約

本稿では、個人の顔特徴と職業固有の皮膚質の変化を両方モデル化する、職業に配慮した生成的対抗ネットワーク（OAFA）を提案する。新規の職業別顔齢化データセット（OFAD）を導入し、個人化および職業に配慮した対抗損失を統合することで、最先端の手法よりもより現実的で多職業に配慮した顔の年齢進行結果を生成する。

ABSTRACT

Face age progression, which aims to predict the future looks, is important for various applications and has been received considerable attentions. Existing methods and datasets are limited in exploring the effects of occupations which may influence the personal appearances. In this paper, we firstly introduce an occupational face aging dataset for studying the influences of occupations on the appearances. It includes five occupations, which enables the development of new algorithms for age progression and facilitate future researches. Second, we propose a new occupational-aware adversarial face aging network, which learns human aging process under different occupations. Two factors are taken into consideration in our aging process: personality-preserving and visually plausible texture change for different occupations. We propose personalized network with personalized loss in deep autoencoder network for keeping personalized facial characteristics, and occupational-aware adversarial network with occupational-aware adversarial loss for obtaining more realistic texture changes. Experimental results well demonstrate the advantages of the proposed method by comparing with other state-of-the-arts age progression methods.

研究の動機と目的

• 職業が皮膚質の変化に与える影響、特に皮膚質の変化に与える影響を調査すること。
• 既存の年齢進行手法が一人の個人に対して単一の未来の外見しか生成しないという制限を解消すること。
• 単一の入力顔から複数の職業固有の年齢進行結果を生成できる深層生成モデルを開発すること。
• 正確に職業依存の年齢進行効果をモデル化しつつ、個人の顔の同一性を保持すること。
• 職業別顔齢化研究のためのベンチマークデータセットを構築すること。

提案手法

• 職業を条件として年齢進行顔を生成する条件付き生成的対抗ネットワーク（OAFA）を提案する。
• 個人化損失を用いた深層オートエンコーダー基盤の個人化ネットワークを採用し、元の顔を再構築し、同一性を保持する。
• 職業に配慮した対抗ネットワークを導入し、二重損失構造（条件付き対抗損失とトライオレットランクリスク）を採用して現実的なテクスチャモデリングを実現する。
• トライオレットランクリスクを用いて、同じ人物の異なる職業における生成画像間の意味的類似性を強制し、職業の一貫性を向上させる。
• 共有エンコーダーと条件付き監視を用いて、1つの入力に対して5つの異なる年齢進行出力を生成するようにジェネレータを訓練する。
• 5つの職業と2つの年齢群（30–50、50–80）を含む、新たに導入された包括的なアノテーション付き職業別顔齢化データセット（OFAD）を活用する。

実験結果

リサーチクエスチョン

• RQ1 異なる職業が、皮膚質の変化に特に注目した顔の年齢進行の視覚的外見にどのように影響を与えるか？
• RQ2 深層生成モデルは、一人の個人に対して、それぞれが異なる職業を反映する複数の現実的な年齢進行顔を生成できるか？
• RQ3 職業に配慮した年齢進行において、個人の顔の同一性はどの程度保持できるか？
• RQ4 個人化損失と職業に配慮した対抗損失の組み合わせは、生成された年齢進行顔の現実性と一貫性をどの程度向上させるか？
• RQ5 職業アノテーション付きの新規データセットは、年齢進行モデルの評価と開発をどの程度改善できるか？

主な発見

• ユーザー研究において、OAFA手法は60.32％の認識率を達成し、参加者が生成画像を正解と同一人物と判断した。
• 比較的ユーザー研究では、61.35％の参加者がOAFAが生成した画像をCAAEの出力よりも好んだことから、優れた現実性と年齢進行の詳細さが示された。
• アブレーションスタディの結果、トライオレットランクリスクを削除すると職業の一貫性が著しく低下し、職業固有の年齢進行モデリングにおいてその重要性が確認された。
• 個人化損失の重み（λ）を増加させると同一性保持が向上したが、年齢進行と職業の特徴が弱まったことから、同一性と現実性のトレードオフがあることが示された。
• 本手法は、特に高年齢群において意味的に異なる皮膚質のテクスチャ、例えばしわやそばかすを詳細に生成できた。
• OFADデータセットは、5つの職業と2つの年齢範囲を含み、顔齢化研究における職業アノテーション付きで初めて公開されたデータセットである。