[論文レビュー] Longitudinal Face Modeling via Temporal Deep Restricted Boltzmann Machines

Chi Nhan Duong, Khoa Luu+2 more|arXiv (Cornell University)|Jun 7, 2016

Face recognition and analysis参考文献 30被引用数 13

ひとこと要約

本稿では、非線形的 ageingを短期間の変化の系列としてモデル化することで、現実的な年齢進行顔を合成するための時系列深層制限ボルツマンマシン（TDRBM）を用いた深層生成モデルを提案する。この手法は、年齢推定、RBMsを用いたしわモデリング、幾何的制約の統合を実現し、FG-NET、CACD、MORPH、および新規の大規模データセットAGFWを含む複数のベンチマークで、最先端の精度を達成した。

ABSTRACT

Modeling the face aging process is a challenging task due to large and non-linear variations present in different stages of face development. This paper presents a deep model approach for face age progression that can efficiently capture the non-linear aging process and automatically synthesize a series of age-progressed faces in various age ranges. In this approach, we first decompose the long-term age progress into a sequence of short-term changes and model it as a face sequence. The Temporal Deep Restricted Boltzmann Machines based age progression model together with the prototype faces are then constructed to learn the aging transformation between faces in the sequence. In addition, to enhance the wrinkles of faces in the later age ranges, the wrinkle models are further constructed using Restricted Boltzmann Machines to capture their variations in different facial regions. The geometry constraints are also taken into account in the last step for more consistent age-progressed results. The proposed approach is evaluated using various face aging databases, i.e. FG-NET, Cross-Age Celebrity Dataset (CACD) and MORPH, and our collected large-scale aging database named AginG Faces in the Wild (AGFW). In addition, when ground-truth age is not available for input image, our proposed system is able to automatically estimate the age of the input face before aging process is employed.

研究の動機と目的

• 制約のない環境における非線形的かつ大規模な顔の年齢変化の課題に対処すること。
• 真の年齢ラベルを必要としないエンドツーエンドの自動システムを構築すること。
• しわや幾何的形状の変化をモデル化することで、年齢進行顔のリアリズムを向上させること。
• 同じフレームワーク内で年齢逆推定と自動年齢推定を補完的機能として実現すること。

提案手法

• 時系列深層制限ボルツマンマシン（TDRBMs）を用いて、時間的依存性を捉えるために長期的顔の年齢変化を短期間変換の系列としてモデル化する。
• 連続する年齢段階間の年齢移行を学習するためのマルチノードTDRBMアーキテクチャを構築する。
• 年齢範囲にわたるプロトタイプ参照顔のセットを統合し、年齢変換プロセスをガイドする。
• 異なる顔領域におけるしわパターンをモデル化・強化するために、別個の制限ボルツマンマシン（RBMs）を用いる。
• 顔の特徴点から導出される幾何的制約を適用し、年齢グループ間での構造的一致性を維持する。
• 入力画像にラベルがない場合に自動的に入力顔の年齢を予測できる3段階の年齢推定システム（3グループ分類＋SVR）を統合する。

実験結果

リサーチクエスチョン

• RQ1 深層確率的モデルは、制約のない環境における縦断的顔の年齢変化の非線形的で複雑なダイナミクスを効果的に捉えることができるか？
• RQ2 TDRBMベースのフレームワークは、多様な年齢範囲や文化的背景を持つグループにわたり、現実的な年齢進行顔を合成できるか？
• RQ3 しわモデリングと幾何的制約を統合することで、年齢進行顔の知覚的品質と一貫性はどの程度向上するか？
• RQ4 提案されたシステムは、真の年齢ラベルに依存せずに正確な年齢逆推定と自動年齢推定を実行できるか？
• RQ5 実世界の大規模な年齢データベースにおいて、このモデルの性能は最先端の手法と比較してどうなるか？

主な発見

• 提案モデルは、FG-NETでは5.86年、MORPHでは4.84年の平均絶対誤差（MAE）を達成し、合成顔に対しても最小限の性能低下（FG-NET: MAE 5.96、MORPH: MAE 5.17）を示した。
• モデルが生成した年齢進行顔は、実際の真のラベル顔と同等の年齢推定MAE（例：FG-NETでは5.96 vs 実際の顔では5.89）を達成しており、正確なターゲット年齢の一致が示された。
• システムは年齢逆推定を効果的に実行し、入力画像から妥当な若い顔を生成した。複数のデータセットで視覚的に一貫性があり、現実的な結果を示した。
• RBMsを用いたしわモデリングの統合により、特に後年齢帯における顔のしわなどの細部の年齢変化が顕著に向上した。
• モデルは、新たに収集されたAging Faces in the Wild（AGFW）を含む多様なデータセットにうまく一般化し、ポーズ、表情、照明の変動に対してもスケーラビリティとロバストネスを示した。
• フレームワークは完全に自動化されており、入力画像に手動での年齢ラベルを必要としないため、実世界の応用における実用性が向上した。