[論文レビュー] A3GAN: An Attribute-aware Attentive Generative Adversarial Network for Face Aging

Yunfan Liu, Qi Li+2 more|arXiv (Cornell University)|Nov 15, 2019

Face recognition and analysis参考文献 50被引用数 6

ひとこと要約

A3GANは、顔の年齢変化に特化した属性に配慮したアテンションGANを提案する。顔の属性を生成器および識別器に埋め込むことで意味的整合性を確保し、年齢関連領域に注目するアテンション機構を用い、ウェーブレットパケット変換を用いて多スケールのテクスチャモデリングを実現する。MORPHおよびCACDデータセットにおいて、顔の同一性の保持と顔の属性の忠実度が向上し、最先端の性能を達成する。

ABSTRACT

Face aging, which aims at aesthetically rendering a given face to predict its future appearance, has received significant research attention in recent years. Although great progress has been achieved with the success of Generative Adversarial Networks (GANs) in synthesizing realistic images, most existing GAN-based face aging methods have two main problems: 1) unnatural changes of high-level semantic information (e.g. facial attributes) due to the insufficient utilization of prior knowledge of input faces, and 2) distortions of low-level image content including ghosting artifacts and modifications in age-irrelevant regions. In this paper, we introduce A3GAN, an Attribute-Aware Attentive face aging model to address the above issues. Facial attribute vectors are regarded as the conditional information and embedded into both the generator and discriminator, encouraging synthesized faces to be faithful to attributes of corresponding inputs. To improve the visual fidelity of generation results, we leverage the attention mechanism to restrict modifications to age-related areas and preserve image details. Moreover, the wavelet packet transform is employed to capture textural features at multiple scales in the frequency space. Extensive experimental results demonstrate the effectiveness of our model in synthesizing photorealistic aged face images and achieving state-of-the-art performance on popular face aging datasets.

研究の動機と目的

• GANベースの顔の年齢変化モデルにおける、条件付き監視の欠如に起因する不自然な顔の属性変化を解消すること。
• 合成された年齢変化顔におけるゴーストアーチファクトや年齢に関係のない画像歪みを低減すること。
• 生成変更を年齢関連領域に限定することで視覚的忠実度を向上させること。
• ウェーブレットパケット変換を用いて多スケールのテクスチャモデリングを強化し、しわや白髪などの正確な老化の兆候をモデル化すること。
• ベンチマークデータセットにおいて、顔の同一性保持と顔の属性の一貫性の面で最先端の性能を達成すること。

提案手法

• 顔の属性ベクトルを生成器および識別器の条件付き入力として統合し、トレーニング中に属性の一貫性を強制する。
• 生成器にアテンション機構を適用し、画像の変更を年齢関連の顔領域（例：額、頬）に限定することで、非年齢関連領域の詳細を保持する。
• ウェーブレットパケット変換（WPT）を用いて、老化特徴の正確な表現を得るための多スケール周波数ドメインのテクスチャ特徴を抽出する。
• 異なるウェーブレットサブバンドで特徴を処理するマルチパスウェイ識別器（WMD）を設計し、スケールごとの特徴的な老化パターンを捉える。
• 敵対的損失、顔の同一再構成損失、属性一貫性損失を用いてエンドツーエンドでモデルをトレーニングし、リアリズムと意味的忠実度のバランスを取る。
• ペアドされていないトレーニングデータ（異なるアイデンティティの若年齢と高年齢の顔）を用い、年齢マッチング済みの例が不要な状態でスケーラブルかつ現実的な顔の年齢変化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 顔の属性埋め込みは、ペアドされていない顔の年齢変化設定において、生成された年齢変化顔の意味的整合性を向上させることができるか？
• RQ2 画像の変更を局所化するアテンションベースの手法は、ゴーストアーチファクトを低減し、非年齢関連の画像詳細を保持することができるか？
• RQ3 ウェーブレットパケットベースの多スケール特徴抽出は、しわや白髪のようなリアルな老化テクスチャのモデリングを向上させることができるか？
• RQ4 提案されたマルチパスウェイ識別器は、標準的なPatchGANに比べて、年齢関連の視覚的パターンをより効果的に捉えられるか？
• RQ5 属性に配慮したアプローチ、アテンション、多スケール特徴学習を組み合わせることで、顔の年齢変化の品質と忠実度はどの程度向上するか？

主な発見

• 提案されたA3GANは、MORPHおよびCACDデータセットで最先端の性能を達成し、視覚的リアリズムと属性の一貫性の両面で先行手法を上回る。
• 顔の属性埋め込みを削除した場合（w/o FAE）では、顔の属性保持率が著しく低下し、特に「性別」と「人種」において顕著である。これは、意味的忠実度の観点でその重要性を示している。
• アテンション機構により、視覚的歪みやゴーストアーチファクトが低減され、顔の輪郭や髪の毛の領域で顕著に改善され、顔認証の信頼性が向上し、属性認識の正確性も向上する。
• ウェーブレットベースのマルチパスウェイ識別器（WMD）により、実際の年齢変化顔と生成された顔の分布ギャップが縮小され、年齢推定の正確性と老化兆候のリアリズムが向上する。
• アブレーションスタディの結果、すべての構成要素（FAE, AM, WMD）が独立的かつ相乗的に性能向上に寄与しており、完全なモデルでは顔認証率が98％以上に達し、高い属性保持が達成されている。
• 強力な性能を発揮する一方で、データバイアスや希少性のため、代表されていない民族（例：アジア系、ヒスパニック系）や子供の年齢変化への一般化能力に限界が見られる。