[論文レビュー] Global and Local Consistent Age Generative Adversarial Networks

Peipei Li, Yibo Hu+3 more|arXiv (Cornell University)|Jan 25, 2018

Face recognition and analysis参考文献 23被引用数 14

ひとこと要約

本稿では、顔全体の構造と顔の主要部分における局所的テクスチャ変化を別々のグローバルおよびローカルネットワークを用いて統合的にモデル化することで、年齢進行と逆進行を実現する新規の生成的対抗ネットワーク、GLCA-GANを提案する。残差顔を学習し、アイデンティティ、年齢、ピクセル単位の損失を組み込むことで、多様なデータセットおよび年齢範囲において高精細でアイデンティティを保持した年齢合成を実現し、リアルさと詳細の保持が向上した。

ABSTRACT

Age progression/regression is a challenging task due to the complicated and non-linear transformation in human aging process. Many researches have shown that both global and local facial features are essential for face representation, but previous GAN based methods mainly focused on the global feature in age synthesis. To utilize both global and local facial information, we propose a Global and Local Consistent Age Generative Adversarial Network (GLCA-GAN). In our generator, a global network learns the whole facial structure and simulates the aging trend of the whole face, while three crucial facial patches are progressed or regressed by three local networks aiming at imitating subtle changes of crucial facial subregions. To preserve most of the details in age-attribute-irrelevant areas, our generator learns the residual face. Moreover, we employ an identity preserving loss to better preserve the identity information, as well as age preserving loss to enhance the accuracy of age synthesis. A pixel loss is also adopted to preserve detailed facial information of the input face. Our proposed method is evaluated on three face aging datasets, i.e., CACD dataset, Morph dataset and FG-NET dataset. Experimental results show appealing performance of the proposed method by comparing with the state-of-the-art.

研究の動機と目的

• リアルな年齢合成を実現しつつ、アイデンティティと細部にまで及ぶ顔の特徴を保持する課題に対処すること。
• 従来のGANベースの手法がグローバル特徴にのみ注目し、老化に伴う微細な局所的テクスチャ変化をモデル化できないという限界を克服すること。
• 完全な顔画像ではなく残差顔を学習することで、トレーニングの高速化と年齢に依存しない詳細（例：衣装や背景）の保持を図ること。
• 条件付きGANを用いて、統合されたフレームワーク内で正確な年齢進行と逆進行を同時に実現すること。
• アイデンティティ保持および年齢保持損失を用いることで、合成の精細さを向上させること。

提案手法

• 生成器は、顔全体の構造と老化傾向をモデル化するグローバルネットワークと、目、口、頬などの重要な顔領域におけるテクスチャ変化を処理する3つの専用ローカルネットワークを備える。
• 入力顔と合成顔の差分である残差顔を学習することで、トレーニングの高速化と衣装や背景といった年齢に依存しない詳細の保持を実現する。
• 条件付きGANフレームワークを採用し、ターゲット年齢ラベルをグローバルおよびローカル入力に条件付け、合成をガイドする。
• 3つの補助損失を適用する：人物固有の特徴を維持するアイデンティティ保持損失、正しい年齢進行／逆進行を保証する年齢保持損失、顔の細部を保持するピクセル単位の損失。
• 識別器、アイデンティティ分類器、年齢分類器を同時に学習させることで、生成顔のリアルさと一貫性を向上させる。
• 年齢ラベルの条件付けにより、同じモデルを用いて年齢進行（若年から高年齢）と逆進行（高年齢から若年）の両方を実行可能である。

実験結果

リサーチクエスチョン

• RQ1 統合されたGANフレームワークは、アイデンティティを保持しつつ、年齢進行と逆進行を効果的に行えるか？
• RQ2 顔の局所的サブ領域をモデル化することで、グローバルのみのアプローチに比べて、年齢合成顔のリアルさがどのように向上するか？
• RQ3 残差顔を学習することで、詳細の保持とトレーニング収束性がどの程度向上するか？
• RQ4 アイデンティティ保持および年齢保持損失は、合成顔の正確性と精細さにどのように影響を与えるか？
• RQ5 ポーズ、表情、照度の変化に対して、GLCA-GANは最先端の手法と比較してどのように優れているか？

主な発見

• Morphデータセットでは、年齢逆進行（aged2クラスタ）において、顔認識のランク1正解率が99.64%に達し、顕著なアイデンティティ保持が確認された。
• 年齢進行のタスクでは、aged1クラスタでランク1正解率が97.66%を維持し、大きな年齢ギャップがある状況でも顕著なアイデンティティ保持が示された。
• アブレーションスタディの結果、グローバルネットワークのみを用いた場合、テクスチャの合成品質が劣ることが確認され、3つのローカルネットワークが微細な老化変化を効果的に捉えていることが裏付けられた。
• 可視化比較により、GLCA-GANは髪の毛、ひげ、しわの移行においてよりリアルな結果を生成し、HFA、FT demo、CDL、RFA、CAAE、C-GANを凌駕した。
• 従来の手法とは異なり、背景や衣装の詳細を効果的に保持しており、多くの手法がその情報を変更または失うのとは対照的であった。
• ポーズ、表情、照度の変化に対しても、GLCA-GANは一貫性があり滑らかな年齢変化遷移を示し、強力なロバスト性を示した。