[論文レビュー] Face Image Analysis using AAM, Gabor, LBP and WD features for Gender, Age, Expression and Ethnicity Classification

N. S. Lakshmiprabha|arXiv (Cornell University)|Mar 29, 2016

Face recognition and analysis参考文献 31被引用数 6

ひとこと要約

本稿では、顔画像から性別、年齢、表情、人種を同時に分類するためのアクティブアパーニアンモデル（AAM）、ガボールウェーブレット、局所バイナリーパターン（LBP）、ウェーブレット分解（WD）を評価する。ニューラルネットワークを用いて、AAMが最も高い正確性と速いテスト時間を達成していることが示され、WDは学習において最も効率的である。性別に配慮した年齢推定を組み込むことで正確性が向上し、AAM、LBP、またはWD特徴量を用いることで、すべての属性を1秒未塔で抽出可能である。

ABSTRACT

The growth in electronic transactions and human machine interactions rely on the information such as gender, age, expression and ethnicity provided by the face image. In order to obtain these information, feature extraction plays a major role. In this paper, retrieval of age, gender, expression and race information from an individual face image is analysed using different feature extraction methods. The performance of four major feature extraction methods such as Active Appearance Model (AAM), Gabor wavelets, Local Binary Pattern (LBP) and Wavelet Decomposition (WD) are analyzed for gender recognition, age estimation, expression recognition and racial recognition in terms of accuracy (recognition rate), time for feature extraction, neural training and time to test an image. Each of this recognition system is compared with four feature extractors on same dataset (training and validation set) to get a better understanding in its performance. Experiments carried out on FG-NET, Cohn-Kanade, PAL face database shows that each method has its own merits and demerits. Hence it is practically impossible to define a method which is best at all circumstances with less computational complexity. Further, a detailed comparison of age estimation and age estimation using gender information is provided along with a solution to overcome aging effect in case of gender recognition. An attempt has been made in obtaining all (i.e. gender, age range, expression and ethnicity) information from a test image in a single go.

研究の動機と目的

• 4つの特徴抽出手法（AAM、ガボール、LBP、WD）の性能を分析・比較し、マルチタスク顔属性認識に応用する。
• 性別、年齢、表情、人種分類における認識正確性と計算効率（特徴抽出、学習、テスト時間）を評価する。
• 老化が性別認識に与える影響を調査し、性別に配慮した年齢推定を用いた解決策を提案する。
• 1枚の顔画像からリアルタイムで性別、年齢帯、表情、人種の4つの属性を同時に正確に予測する可能性を示す。

提案手法

• 顔画像における形状とテクスチャの変動をモデル化するため、アクティブアパーニアンモデル（AAM）を用いた特徴抽出。
• 局所周波数および方向特徴を捉えるためにガボールウェーブレットを適用し、テクスチャ解析に活用。
• 顔部の局所的テクスチャパターンを符号化するため、局所バイナリーパターン（LBP）特徴の計算。
• マルチスケールの空間周波数特徴を抽出するため、ウェーブレット分解（WD）の利用。
• 各認識タスク（性別、年齢、表情、人種）に特化したフィードフォワードニューラルネットワークを、抽出された特徴量を用いて学習。
• 性別分類の出力を段階的に組み込み、老化の影響を軽減するため、性別に特化した年齢推定器を用いたアーキテクチャの構築。

実験結果

リサーチクエスチョン

• RQ1 AAM、ガボール、LBP、WDの4つの特徴抽出器の中で、性別、年齢、表情、人種分類の各タスクにおいて、最も高い認識正確性を達成するのはどれか？
• RQ2 4つの特徴抽出器は、特に特徴抽出、ニューラルネットワークの学習、テスト時間において、計算コストの観点からどのように比較できるか？
• RQ3 老化が性別認識の正確性に与える影響はどの程度で、性別に配慮した年齢推定を組み込むことでこれを軽減できるか？
• RQ4 1枚の顔画像から、性別、年齢帯、表情、人種の4つの属性を低遅延で同時に正確に予測できるか？
• RQ5 異なるデータベースにおける表情のスタイルや人種の特徴表現のばらつきが、認識性能に与える影響は何か？また、その耐性を高めるための戦略は何か？

主な発見

• AAMは、性別、年齢、表情、人種分類の全4タスクにおいて最も高い認識正確性を達成し、4つの手法の中で最も速いテスト時間を記録した。
• LBPとガボールウェーブレットは同等の認識正確性を示したが、LBPはガボールよりも計算コストが低かった。
• ウェーブレット分解（WD）は、学習段階およびテスト段階の両方で最も低い計算コストを示し、低遅延アプリケーションに適している。
• 性別情報を年齢推定に組み込むことで、顕著な老化の変動が見られる状況でも年齢予測の正確性が向上した。
• AAM、LBP、WD特徴量を用いることで、1枚の顔画像から性別、年齢帯、表情、人種の4つの属性を1秒未塔で正確に抽出できた。
• 表情および人種の誤分類の主な原因は、データセット間での表情スタイルや人種の特徴表現の差に起因しており、多様な訓練データの必要性が浮き彫りになった。