[論文レビュー] Global and Local Consistent Wavelet-domain Age Synthesis

Peipei Li, Yibo Hu+2 more|arXiv (Cornell University)|Sep 20, 2018

Face recognition and analysis参考文献 38被引用数 3

ひとこと要約

本稿では、ウェーブレット領域における顔の全体的トポロジーと局所的テクスチャ詳細を同時にモデル化することで、年齢進化または逆進化した顔を合成する新しい生成的敵対ネットワーク、WaveletGLCA-GANを提案する。グローバルおよびローカルネットワークをウェーブレットベースの周波数表現と5つの特化した損失関数で統合することで、CACD2000、Morph、FG-NETデータセットにおいて、最先端の手法を上回る写真的リアリズムと年齢正確性を達成した。

ABSTRACT

Age synthesis is a challenging task due to the complicated and non-linear transformation in human aging process. Aging information is usually reflected in local facial parts, such as wrinkles at the eye corners. However, these local facial parts contribute less in previous GAN based methods for age synthesis. To address this issue, we propose a Wavelet-domain Global and Local Consistent Age Generative Adversarial Network (WaveletGLCA-GAN), in which one global specific network and three local specific networks are integrated together to capture both global topology information and local texture details of human faces. Different from the most existing methods that modeling age synthesis in image-domain, we adopt wavelet transform to depict the textual information in frequency-domain. %Moreover, to achieve accurate age generation under the premise of preserving the identity information, age estimation network and face verification network are employed. Moreover, five types of losses are adopted: 1) adversarial loss aims to generate realistic wavelets; 2) identity preserving loss aims to better preserve identity information; 3) age preserving loss aims to enhance the accuracy of age synthesis; 4) pixel-wise loss aims to preserve the background information of the input face; 5) the total variation regularization aims to remove ghosting artifacts. Our method is evaluated on three face aging datasets, including CACD2000, Morph and FG-NET. Qualitative and quantitative experiments show the superiority of the proposed method over other state-of-the-arts.

研究の動機と目的

• GANベースの手法で顕著な局所的テクスチャ詳細（しわなど）の損失が生じる、細分化された年齢合成の課題に対処すること。
• 画像ドメイン処理に依存せず、ウェーブレット変換を用いて周波数ドメインで老化パターンをモデル化することで、年齢合成の精度を向上させること。
• 正確な年齢関連の顔貌変化を生成しつつ、アイデンティティおよび背景情報を保持すること。
• 既存のGANベースの年齢合成モデルに一般的に見られる過剰な平滑化やゴーストアーチファクトを低減すること。
• 年齢範囲や画像品質が異なる多様なデータセットにおいて、一貫性があり現実的な年齢進行／逆進化を実現すること。

提案手法

• 本手法は、入力顔をウェーブレットサブバンドに分解することで多スケール特徴抽出を可能にする、ウェーブレットドメインにおけるグローバル・ローカル一貫性を持つ年齢生成器（WaveletGLCA-G）を採用する。
• 顔の構造的特徴と微細なテクスチャ詳細を捉えるために、1つのグローバル特化ネットワークと、額、目、口の3つのローカル特化ネットワークを用いる。
• 残差ウェーブレット係数を予測するためのウェーブレット係数予測ネットワークを導入し、収束を高速化するとともにアイデンティティの保持を向上させる。
• 5つの損失関数を適用する：リアリズムのための敵対的損失、一貫性のためのアイデンティティ保持損失、正確性のための年齢保持損失、背景の忠実度のためのピixeLワイズ損失、およびアーチファクト抑制のための全変動（TV）正則化。
• 識別器は、実際のターゲット年齢顔と生成された顔を区別するように学習され、敵対的訓練によって写真的リアリズムを強制する。
• 年齢ラベルを条件入力として用い、エンドツーエンドに学習することで、制御された年齢進行または逆進化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 画像ドメインにおけるGANと比較して、ウェーブレットドメインで老化をモデル化することで、合成顔の忠実性とテクスチャ詳細が向上するか？
• RQ2 目、額、口といった重要な顔領域に特化したローカルネットワークを統合することで、年齢関連のテクスチャ変化の捉え方がどのように向上するか？
• RQ3 ウェーブレットベースの表現が、アイデンティティ保持とアーチファクト低減の両面でどの程度向上するか？
• RQ4 ウェーブレットドメインでの年齢合成に全変動正則化を適用する際、リアリズムとアーチファクト低減の最適なトレードオフは何か？
• RQ5 年齢範囲や画像品質が異なる多様なデータセットにおいて、本手法はどの程度の性能を発揮するか？

主な発見

• WaveletGLCA-GANは、CACD2000、Morph、FG-NETデータセットにおいて、定性的および定量的評価の両面で最先端の性能を達成した。
• 表IIIおよび表IVで示されるように、GLCA-GAN や Wavelet-GAN と比較して、年齢正確性が顕著に向上した。
• 可視的比較では、目元や額といった老化感受性領域において、WaveletGLCA-GANがよりリアルなテクスチャを生成していることが確認された。
• ウェーブレット係数予測ネットワークのおかげで、より明確で詳細な結果が得られ、過剰な平滑化が低減し、微細なテクスチャ合成が向上した。
• 図16に示されるように、TV損失のトレードオフパラメータを0.0001に設定した場合が、アーチファクト低減とテクスチャ保持の両面で最良のバランスを示した。
• 複雑な老化パターンを示す困難なケースでさえも、アイデンティティおよび背景情報を効果的に保持した。