[論文レビュー] Quantifying Facial Age by Posterior of Age Comparisons

Yunxuan Zhang, Li Liu+2 more|arXiv (Cornell University)|Aug 31, 2017

Face recognition and analysis参考文献 19被引用数 13

ひとこと要約

本論文は、既知の年齢を持つ画像データベースと比較して、人間が関与する年齢比較を活用することで、屋外で撮影された顔画像に後方確率分布としての年齢ラベルを付与する新規手法を提案する。ジョイント順序ハイパープランと後方確率損失による訓練を施した深層ネットワークを用いることで、MORPH2、Adience、および新たに導入されたMegaAgeデータセットにおいて最先端の性能を達成し、MegaAgeではCA(7)が73.15%、MegaAge-Asianでは90.80%を記録した。

ABSTRACT

We introduce a novel approach for annotating large quantity of in-the-wild facial images with high-quality posterior age distribution as labels. Each posterior provides a probability distribution of estimated ages for a face. Our approach is motivated by observations that it is easier to distinguish who is the older of two people than to determine the person's actual age. Given a reference database with samples of known ages and a dataset to label, we can transfer reliable annotations from the former to the latter via human-in-the-loop comparisons. We show an effective way to transform such comparisons to posterior via fully-connected and SoftMax layers, so as to permit end-to-end training in a deep network. Thanks to the efficient and effective annotation approach, we collect a new large-scale facial age dataset, dubbed `MegaAge', which consists of 41,941 images. Data can be downloaded from our project page mmlab.ie.cuhk.edu.hk/projects/MegaAge and github.com/zyx2012/Age_estimation_BMVC2017. With the dataset, we train a network that jointly performs ordinal hyperplane classification and posterior distribution learning. Our approach achieves state-of-the-art results on popular benchmarks such as MORPH2, Adience, and the newly proposed MegaAge.

研究の動機と目的

• 顔の年齢推定における主観性の高さにより、大規模な屋外顔画像に正確な年齢ラベルを信頼性高くラベル付けすることが難しいという課題に対処する。
• 近似された年齢範囲や制限付き・多様性に乏しい環境に依存する既存のデータセットの限界を克服する。
• 絶対的年齢推定よりも年齢比較（どちらが年上か）が容易であることに着目し、より頑健で不確実性を考慮した年齢ラベルを生成する。
• 一般化性能と精度の向上を図るため、順序付き年齢分類と後方確率分布予測を同時に学習する深層学習フレームワークを開発する。

提案手法

• クエリ画像（年齢不明）とリファレンス画像（年齢既知）の間で人間による比較を活用し、確率的年齢ラベルを生成する。
• 各比較をベルヌーイ試行としてモデル化し、ベイズ推論を用いて比較を独立観測とみなして後方確率分布を計算する。
• 2本の出力ヘッドを持つ深層畳み込みニューラルネットワークを訓練する：1つは順序ハイパープラン分類用、もう1つは後方確率分布予測用。
• 後方確率ヘッドには、内部特徴を年齢クラス上の確率分布にマップするため、全結合層に続いてソフトマックス層を実装する。
• 順序ランクのためのコストセンシティブ損失と、後方確率分布の整合性を保つためのカルバック・ライブラー（KL）ダイバージェンス損失を組み合わせた共同損失関数を最適化に用いる。
• 特徴抽出のために、MS-Celeb-1Mで事前学習された切り捨てられたVGGアーキテクチャを活用し、トランスファーラーニングを可能にし、下流タスクでの性能向上を図る。

Figure 1: (a) Comparing the proposed target annotation (also the prediction) with existing schemes. In contrast to current schemes that either provide an actual age label or age range, we introduce a new annotation that faithfully captures the distribution of estimated ages. The annotation can be ob

実験結果

リサーチクエスチョン

• RQ1 顔同士の年齢比較を、屋外画像における信頼性の高い不確実性を考慮した年齢後方確率分布の生成に効果的に利用できるか？
• RQ2 年齢推定を後方確率分布学習タスクとしてモデル化することで、従来の順序付きまたは回帰ベースのアプローチと比較して性能が向上するか？
• RQ3 順序ハイパープランと後方確率分布損失の両方を同時に学習させることで、多様なベンチマークにおけるモデルの一般化性能と精度がどの程度向上するか？
• RQ4 MORPH2、Adience、および新たに導入されたMegaAgeデータセットといった標準ベンチマークにおいて、本手法は最先端のアプローチと比較してどうなるか？
• RQ5 損失関数内の各要素（コストセンシティブ vs. KLダイバージェンス）が最終的なモデル性能に与える影響はいかほどか？

主な発見

• 提案手法は、MegaAgeデータセットでCA(7)が73.15%を達成し、同ベンチマークで66.80%（累積的属性）および66.30%（Deep CNN）を記録した既存手法を顕著に上回った。
• より多様性に富んだMegaAgeデータセットでは、フルモデルがCA(7)を72.31%まで達成し、制約のない現実世界の画像への強い一般化能力を示した。
• アジア系顔画像のみを含むMegaAge-Asianサブセットでは、さらに高い性能が得られ、フルモデルでCA(7)が90.80%に達した。これは、制御された高品質なサブセットにおいても優れた性能を示している。
• アブレーションスタディの結果、KLダイバージェンス損失を除去すると性能が著しく低下（CA(7) 73.15% vs. 72.31%）し、後方確率分布学習の重要性が確認された。
• KL損失なしのコストセンシティブ損失でのみ学習したモデルは、MegaAgeでCA(5)が57.90%であったが、両損失を併用した場合に58.37%に向上し、共同最適化による相乗効果が示された。
• 訓練データの増加に伴い一貫した性能向上が見られた：MegaAgeデータの100%を追加すると、CA(7)が54.61%から73.15%に上昇し、スケーラビリティとデータ効率の高さを示した。

Figure 2: Results of the user study: (a) Test I – volunteers were asked to guess the actual age given an image. (b) Test II – volunteers were asked to compare the age of two persons.