[論文レビュー] When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework

Zhizhong Huang, Junping Zhang+1 more|arXiv (Cornell University)|Mar 2, 2021

Face recognition and analysis参考文献 57被引用数 6

ひとこと要約

本稿では、アテンションメカニズムと連続的ドメイン適応を用いて顔の特徴を分離可能なアイデンティティ関連および年齢関連成分に分解することで、年齢に依存しない顔認識（AIFR）と顔の年齢変化生成（FAS）を統合的に実行するマルチタスク学習フレームワーク、MTLFaceを提案する。本手法は、AIFRおよびFASの両分野で最先端の性能を達成し、写真のようにリアルでアイデンティティを保持する顔生成と、複数のベンチマークで向上した認識精度を実現する。

ABSTRACT

To minimize the effects of age variation in face recognition, previous work either extracts identity-related discriminative features by minimizing the correlation between identity- and age-related features, called age-invariant face recognition (AIFR), or removes age variation by transforming the faces of different age groups into the same age group, called face age synthesis (FAS); however, the former lacks visual results for model interpretation while the latter suffers from artifacts compromising downstream recognition. Therefore, this paper proposes a unified, multi-task framework to jointly handle these two tasks, termed MTLFace, which can learn age-invariant identity-related representation while achieving pleasing face synthesis. Specifically, we first decompose the mixed face feature into two uncorrelated components -- identity- and age-related feature -- through an attention mechanism, and then decorrelate these two components using multi-task training and continuous domain adaption. In contrast to the conventional one-hot encoding that achieves group-level FAS, we propose a novel identity conditional module to achieve identity-level FAS, with a weight-sharing strategy to improve the age smoothness of synthesized faces. In addition, we collect and release a large cross-age face dataset with age and gender annotations to advance the development of the AIFR and FAS. Extensive experiments on five benchmark cross-age datasets demonstrate the superior performance of our proposed MTLFace over existing state-of-the-art methods for AIFR and FAS. We further validate MTLFace on two popular general face recognition datasets, showing competitive performance for face recognition in the wild. The source code and dataset are available at~\url{https://github.com/Hzzone/MTLFace}.

研究の動機と目的

• 既存のAIFRおよびFAS手法の限界、すなわち視覚的解釈性の欠如や生成顔にアーチファクトが生じることを是正するため。
• 同時に年齢に依存しない顔認識と高精細な顔の年齢変化生成を向上させる統合フレームワークを開発するため。
• グループレベルの one-hot 年齢エンコーディングに依存するのではなく、個人の年齢変化パターンをモデル化することで、アイデンティティレベルの顔の年齢変化生成を可能にするため。
• 大規模でクロスエイジの顔データセットを収集・公開することで、研究を前進させるため。
• 提案手法の一般化能力を、クロスエイジおよび一般の顔認識ベンチマークで示すため。

提案手法

• フレームワークは、チャネルおよび空間アテンションを用いて混合された顔特徴をアイデンティティ関連および年齢関連成分に分離する、アテンションベースの特徴分解（AFD）モジュールを採用する。
• マルチタスク学習により、コサインアペンド（CosFace）損失を用いた顔認識、年齢推定、および勾配反転層を用いたドメイン適応によるアイデンティティ不変表現学習を同時に最適化する。
• 新規のアイデンティティ条件付きモジュール（ICM）により、アイデンティティ固有の埋め込みを生成器に条件付けすることで、アイデンティティレベルの顔の年齢変化生成を実現し、重み共有により年齢のなめらかな遷移を確保する。
• 連続的ドメイン適応は、勾配反転層を用いて実装され、ソースおよびターゲットの年齢グループ間のドメインシフトを最小化することで、年齢に依存しない特徴の学習を促進する。
• 本モデルは、年齢および性別ラベルが付与された新規に収集された大規模なクロスエイジデータセット（SCAF）上でエンドツーエンドで訓練される。
• フレームワークは、年齢の進行および後退の両方をサポートし、アイデンティティを保持し、自然な年齢変化の詳細を再現する写真のようにリアルな顔を生成する。

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングフレームワークは、年齢に依存しない顔認識と高品質な顔の年齢変化生成を効果的に統合できるか？
• RQ2 共有表現空間において、アイデンティティ関連および年齢関連特徴を効果的に分離できるか？
• RQ3 アイデンティティ条件付きモジュールにより実現されるアイデンティティレベルの顔の年齢変化生成は、グループレベルのアプローチに比べ、より自然でアイデンティティを保持する結果をもたらすか？
• RQ4 ドメイン適応を用いたマルチタスク学習は、多様なクロスエイジ顔データセットにおける一般化を向上させられるか？
• RQ5 提案手法は、野外の一般顔認識タスクにもどの程度一般化可能か？

主な発見

• MTLFaceは、5つのベンチマーククロスエイジ顔認識データセットで最先端の性能を達成し、既存のSOTA手法に比して認証率で優れている。
• アブレーションスタディにより、共同マルチタスク学習を伴う提案されたアテンションベースの特徴分解（AFD）が、ベースラインおよび単一タスクの変種に比べ、AIFR性能を顕著に向上させていることが確認された。
• 勾配反転を用いた連続的クロスエイジドメイン適応の導入により、すべてのデータセットで一貫した性能向上が得られた。
• 定性的な結果から、MTLFaceは写真のようにリアルでアイデンティティを保持する顔を生成し、自然な年齢変化の詳細を再現しており、CAAEおよびAIMを上回る視覚的忠実度とアイデンティティ保持性を示した。
• 一般顔認識ベンチマーク（LFWおよびMegaFace 1-Facescrub）でも、MTLFaceは競争力のある性能を達成し、強力な一般化能力を示した。
• 年齢および性別ラベルが付与された本稿で提案されたSCAFデータセットは、クロスエイジ顔認識および生成タスクのより強固な訓練と評価を可能にした。