[論文レビュー] Temporal Non-Volume Preserving Approach to Facial Age-Progression and Age-Invariant Face Recognition

Chi Nhan Duong, Kha Gia Quach+3 more|arXiv (Cornell University)|Mar 24, 2017

Face recognition and analysis参考文献 25被引用数 18

ひとこと要約

本稿では、連続する年齢層間の短期的で非線形な変換としての老化をモデル化することにより、高品質な顔の年齢進行と年齢不変顔認識を可能にする、時系列的非体積保存型（TNVP）生成確率モデルを提案する。トレーサブルな対数尤度推定と残差畳み込みニューラルネットワークを組み合わせることで、年齢進行顔合成およびクロスエイジ検証において最先端の性能を達成し、再訓練を要せず顔認識精度を10–40%向上させる。

ABSTRACT

Modeling the long-term facial aging process is extremely challenging due to the presence of large and non-linear variations during the face development stages. In order to efficiently address the problem, this work first decomposes the aging process into multiple short-term stages. Then, a novel generative probabilistic model, named Temporal Non-Volume Preserving (TNVP) transformation, is presented to model the facial aging process at each stage. Unlike Generative Adversarial Networks (GANs), which requires an empirical balance threshold, and Restricted Boltzmann Machines (RBM), an intractable model, our proposed TNVP approach guarantees a tractable density function, exact inference and evaluation for embedding the feature transformations between faces in consecutive stages. Our model shows its advantages not only in capturing the non-linear age related variance in each stage but also producing a smooth synthesis in age progression across faces. Our approach can model any face in the wild provided with only four basic landmark points. Moreover, the structure can be transformed into a deep convolutional network while keeping the advantages of probabilistic models with tractable log-likelihood density estimation. Our method is evaluated in both terms of synthesizing age-progressed faces and cross-age face verification and consistently shows the state-of-the-art results in various face aging databases, i.e. FG-NET, MORPH, AginG Faces in the Wild (AGFW), and Cross-Age Celebrity Dataset (CACD). A large-scale face verification on Megaface challenge 1 is also performed to further show the advantages of our proposed approach.

研究の動機と目的

• 長期間にわたる非線形的かつ大規模な顔の老化変化の課題に対処すること。
• 家族の顔画像や複雑な前処理を必要とせず、滑らかで高精細な年齢進行を可能にする生成モデルを開発すること。
• 顔の同一性を保持する現実的な年齢進行顔を生成することで、クロスエイジ顔認識の性能を向上させること。
• 確率的グラフィカルモデル（トレーサブルな推論）と深層残差ネットワーク（非線形特徴学習）の利点を統合し、より良い老化モデリングを実現すること。
• 4つの顔の特徴点のみを用いて、制約のない、屋外の顔画像に対しても頑健な性能を発揮すること。

提案手法

• 長期的な顔の老化を、取り扱いやすい複数の短期的段階に分解する。
• トレーサブルな密度推定を備えた流れベースの生成モデルとして、新しい時系列的非体積保存型（TNVP）変換を提案する。
• 複雑な非線形老化特徴をモデル化するために、TNVPアーキテクチャに残差畳み込みニューラルネットワーク（ResNet）ブロックを統合する。
• 連続する年齢層間の特徴変換の正確な推論と評価を可能にするために、対数尤度目的関数を用いる。
• 滑らかな遷移と同一性の保持を保証するため、潜在変数の接続を「メモリ」としての役割を果たす。
• 顔の特徴点4つのみを用いて屋外の顔画像にモデルを適用し、厳密なアライメントや前処理を回避する。

実験結果

リサーチクエスチョン

• RQ1 トレーサブルな確率的モデルは、複数の短期的段階にわたる非線形的顔の老化変化を効果的に捉えることができるか？
• RQ2 提案されたTNVPモデルは、家族関係の画像を必要とせず、高品質で現実的な年齢進行顔を生成できるか？
• RQ3 TNVPによる年齢進行は、クロスエイジ顔認識タスクの性能を向上させるか？
• RQ4 対数尤度、推論、合成品質の観点から、TNVPモデルはGAN、RBM、その他のディープラーニング手法と比較してどのように異なるか？
• RQ5 本モデルは、最小限の前処理で制約のない屋外の顔画像にも一般化可能か？

主な発見

• TNVPモデルは、FG-NET、MORPH、AGFW、CACDを含む複数のベンチマークで顔の年齢進行において最先端の性能を達成した。
• Megaface Challenge 1におけるクロスエイジ顔認識において、TNVPで生成された顔は、元のセンター損失モデルに対して再訓練を要せず、ランク1識別精度を9.0%（38.79%から47.72%へ）向上させた。
• 小規模プロトコル下でFG-NETデータセットの元の顔ペアに比べ、マッチング性能が30%向上し、IAAPやTRBMを上回った。
• 4つの特徴点のみを用いて屋外の顔画像に対してもモデルの頑健性を示し、複雑なアライメントや前処理の必要がなかった。
• TNVPモデルは、GAN（敵対的訓練）やRBM（非トレーサブルな正規化定数）とは異なり、正確な対数尤度推定とトレーサブルな推論を提供する。
• TNVPアーキテクチャに残差ブロックを用いることで、複雑な非線形老化変換を効果的にモデル化しながら、年齢段階を跨いで同一性を保持することができた。