[論文レビュー] Modelling of Facial Aging and Kinship: A Survey

Markos Georgopoulos, Yannis Panagakis+1 more|arXiv (Cornell University)|Feb 13, 2018

Face recognition and analysis参考文献 191被引用数 3

ひとこと要約

本調査は、老化および血縁関係に関する計算的手法による顔のモデリングについて包括的なレビューを提供し、データセット、顔の表現（幾何的、手作業で設計された、学習された）、評価プロトコル、および主要な結果を分析している。本調査では、現実世界の条件下における頑健な年齢不変型および血縁関係に基づく顔の分析のための課題と今後の方向性を特定している。

ABSTRACT

Computational facial models that capture properties of facial cues related to aging and kinship increasingly attract the attention of the research community, enabling the development of reliable methods for age progression, age estimation, age-invariant facial characterization, and kinship verification from visual data. In this paper, we review recent advances in modelling of facial aging and kinship. In particular, we provide an up-to date, complete list of available annotated datasets and an in-depth analysis of geometric, hand-crafted, and learned facial representations that are used for facial aging and kinship characterization. Moreover, evaluation protocols and metrics are reviewed and notable experimental results for each surveyed task are analyzed. This survey allows us to identify challenges and discuss future research directions for the development of robust facial models in real-world conditions.

研究の動機と目的

• 顔の老化および血縁関係研究のためのアノテート済みデータセットの包括的かつ最新のインventoriesを提供すること。
• 老化および血縁関係モデリングに用いられる幾何的、手作業で設計された、および学習された顔の表現の分析と比較を行うこと。
• 年齢進行、年齢推定、および血縁関係検証の各タスクにおいて、標準化された評価プロトコルと指標をレビューすること。
• 顕著な実験結果を統合し、現在の手法における性能のギャップと制限を特定すること。
• 現実世界の応用における頑健な顔モデリングのためのオープンな課題を強調し、今後の研究方向性を提案すること。

提案手法

• 2010年以降の顔の老化および血縁関係モデリングに関する最近の文献を系統的レビューすること。
• 顔の表現を幾何的、手作業で設計された、および深層学習された特徴に分類し、分析すること。
• 老化および血縁関係タスクのための公開済みのアノテート済みデータセットを収集し、批判的な評価を行うこと。
• 標準的な分割、指標（例：正確度、AUC）およびベンチマーク結果を含む、評価プロトコルの統合と分析。
• 年齢進行、年齢推定、および血縁関係検証の各タスク間でのパフォーマンスのクロスタスク比較。
• 報告および評価手法における方法論的不整合性とギャップの特定。

実験結果

リサーチクエスチョン

• RQ1 顔の老化および血縁関係モデリングのための、最も包括的かつ最新のアノテート済みデータセットは何か？
• RQ2 幾何的、手作業で設計された、および学習された顔の表現は、老化および血縁関係タスクにおいて、性能面でどのように比較できるか？
• RQ3 年齢進行、年齢推定、および血縁関係検証の各タスクにおいて、標準的な評価プロトコルと指標は何か？
• RQ4 各コアタスクにおける文献で報告された最高のパフォーマンス結果は何か？
• RQ5 現在の手法の開発を妨げる、継続的な課題と制限は何か？

主な発見

• 顔の老化および血縁関係のためのアノテート済みデータセットの包括的なリストが作成され、今後のベンチマーク作成に不可欠なリソースとなっている。
• 特に深層ニューラルネットワークを用いた学習された表現は、ほとんどの老化および血縁関係タスクにおいて、手作業で設計された特徴や幾何的特徴を常に上回る性能を示している。
• 評価プロトコルと指標に顕著なばらつきが認められ、研究間の直接比較が制限されており、標準化の必要性が浮き彫りになっている。
• 進展は見られるものの、特に極端な年齢差や非理想的な撮影条件下ではパフォーマンスが著しく低下する。
• 血縁関係検証は依然として困難であり、特に遠縁の関係者や大きなポーズ・照明の変化がある状況では特に挑戦が大きい。
• 年齢推定および進行モデルは正確性が向上しているが、20〜30年以上の長期的な老化パターンの予測にはまだ困難を伴っている。