[論文レビュー] Attribute-aware Face Aging with Wavelet-based Generative Adversarial Networks

Yunfan Liu, Qi Li+1 more|arXiv (Cornell University)|Sep 18, 2018

Face recognition and analysis参考文献 28被引用数 6

ひとこと要約

本稿では、非対応の年齢変換において不自然な属性変化を低減するため、顔の属性を生成器および識別器に埋め込むウェーブレットベースの GAN フレームワークを提案する。ウェーブレットパケット変換を用いて多スケールのテクスチャモデリングを統合することで、Morph および CACD データセットにおいて、顔の同一性と属性の保持を高め、視覚的忠実度を向上させ、最先端の性能を達成した。

ABSTRACT

Since it is difficult to collect face images of the same subject over a long range of age span, most existing face aging methods resort to unpaired datasets to learn age mappings. However, the matching ambiguity between young and aged face images inherent to unpaired training data may lead to unnatural changes of facial attributes during the aging process, which could not be solved by only enforcing identity consistency like most existing studies do. In this paper, we propose a attribute-aware face aging model with wavelet-based Generative Adversarial Networks (GANs) to address the above issues. To be specific, we embed facial attribute vectors into both generator and discriminator of the model to encourage each synthesized elderly face image to be faithful to the attribute of its corresponding input. In addition, a wavelet packet transform (WPT) module is incorporated to improve the visual fidelity of generated images by capturing age-related texture details at multiple scales in the frequency space. Qualitative results demonstrate the ability of our model to synthesize visually plausible face images, and extensive quantitative evaluation results show that the proposed method achieves state-of-the-art performance on existing datasets.

研究の動機と目的

• 非対応の顔年齢変換データセットに内在するマッチングの曖昧さが引き起こす不自然な属性変化を是正すること。
• 複数スケールでの年齢関連のテクスチャディティールを捉えることで、生成された年齢変化顔の視覚的忠実度を向上させること。
• 顔の同一性の一貫性のみに依存する制限を克服し、意味的顔属性の監視を組み込むことで、より現実的な年齢変化を実現すること。
• 顔の同一性と顔属性の両方を保持しつつ、年齢進行において最先端の性能を達成すること。

提案手法

• ジェネレータおよび識別器に顔属性ベクトルを埋め込み、性別、人種、眼鏡などの意味的属性に基づいて年齢変化プロセスを条件づける。
• 識別器の初期層としてウェーブレットパケット変換（WPT）モジュールを導入し、多スケール周波数ドメイン特徴を抽出することで、テクスチャモデリングを強化する。
• 条件付き GAN フレームワークを採用し、ジェネレータが若々しい顔を年齢変化させたものにマッピングするが、同一性と属性の一貫性を維持する。
• トレーニング中に監視のために、公開 API（例：Face++）を活用して顔属性を抽出する。
• 複数スケールの識別器を用いた adversarial 学習により、リアルリズムを向上させ、アーチファクトを低減する。
• ガトーイン・スタディを実施し、属性埋め込みと WPT の両方の貢献が、ガトーインと属性ドリフトの低減に寄与することを検証する。

実験結果

リサーチクエスチョン

• RQ1 顔属性の監視は、非対応顔年齢変換における属性ドリフトを低減できるか？
• RQ2 ウェーブレットパケット変換による多スケールテクスチャモデリングは、生成された年齢変化顔のリアルリズムを向上させるか？
• RQ3 属性埋め込みと WPT を組み合わせることで、同一性のみに依存する制約よりも優れた性能が得られるか？
• RQ4 非対応学習下での顔の同一性と属性保持の観点から、提案されたコンponentsはどのように比較されるか？

主な発見

• Morph データセットの 31–40 歳グループにおいて、本手法は 97.37% の顔認証率を達成し、先行する最先端手法を上回った。
• 属性埋め込みにより、属性保持率が顕著に向上した：51 歳以上への年齢変化において、人種（race）は 96.07%、性別（gender）は 97.21% を記録した。
• アブレーションスタディの結果、属性埋め込みと WPT の両方を削除すると、重度のガトーインと誤った属性（例：女性顔にヒゲを追加）が生じる。
• WPT を組み込むことで、ガトーインアーチファクトが顕著に低減され、視覚的品質が向上した。これは、属性埋め込みが存在しない場合でも同様に有効であった。
• 両方のモジュール（FAE および WPT）を備えた完全なモデルは、51 歳以上グループで 95.86% の認証率、眼鏡（glasses）の属性保持率は 93.22% を達成し、優れたロバスト性を示した。
• 定量的評価結果から、顔の同一性保持のみでは不十分であることが確認された。非対応データにおけるマッチングの曖昧さを解消するには、属性監視が不可欠である。