[論文レビュー] AFIF4: Deep Gender Classification based on AdaBoost-based Fusion of Isolated Facial Features and Foggy Faces

Mahmoud Afifi, Abdelrahman Abdelhamed|arXiv (Cornell University)|Jun 13, 2017

Face recognition and analysis被引用数 14

ひとこと要約

本稿では、AdaBoostベースのスコア統合を用いて、分離された顔特徴と包括的「かすんだ顔」表現を融合する、深層gender分類手法AFIF4を提案する。個々の特徴に対して別々に訓練された深層畳み込みニューラルネットワーク（CNN）を用い、その予測を統合することで、複数のベンチマーク（交差データセット一般化を含む）において最先端または優れた精度を達成し、オクルージョンや照明不良を伴う顔を含む、より困難な新しいデータセットを新たに導入することで、gender分類研究の前進を図る。

ABSTRACT

Gender classification aims at recognizing a person's gender. Despite the high accuracy achieved by state-of-the-art methods for this task, there is still room for improvement in generalized and unrestricted datasets. In this paper, we advocate a new strategy inspired by the behavior of humans in gender recognition. Instead of dealing with the face image as a sole feature, we rely on the combination of isolated facial features and a holistic feature which we call the foggy face. Then, we use these features to train deep convolutional neural networks followed by an AdaBoost-based score fusion to infer the final gender class. We evaluate our method on four challenging datasets to demonstrate its efficacy in achieving better or on-par accuracy with state-of-the-art methods. In addition, we present a new face dataset that intensifies the challenges of occluded faces and illumination changes, which we believe to be a much-needed resource for gender classification research.

研究の動機と目的

• 既存の手法が困難に感じられる、現実的で制約のない条件下でのgender分類精度の向上を目的とする。
• 包括的顔表現の限界を補うために、意味的に意味のある分離された顔特徴を組み込むこと。
• 複数の深層CNN予測を効果的に統合する耐障害性の高い統合戦略の開発。
• より現実的評価を可能にするために、オクルージョンと照明変動を強調した、新しい困難な顔データセットの作成。
• 交差データセット評価を通じて、優れた一般化性能を示すこと。

提案手法

• 本手法は、分離された顔特徴（例：目、鼻、口）と包括的「かすんだ顔」表現を、それぞれ別々の深層畳み込みニューラルネットワーク（CNN）の入力として抽出する。
• 各CNNは、それぞれの入力特徴のgenderを独立して分類し、個別の予測スコアを出力する。
• AdaBoostベースのスコア統合機構が、すべてのCNNからの予測スコアを統合し、最終的なgender分類意思決定を生成する。
• 「かすんだ顔」表現は、低域フィルタを適用することで生成され、画像劣化、ぼやけ、低品質な顔画像を模倣し、画像劣化に対する耐性を高める。
• 人間の推論に類似した戦略を採用し、グローバル画像特徴よりも信頼性の高い局所的顔特徴を優先する。
• 本手法は4つのベンチマークデータセットおよび、合成的なオクルージョンと照明変動を含む、新たに導入されたより困難なデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 分離された顔特徴と包括的「かすんだ顔」表現を統合することで、gender分類精度が向上するか？
• RQ2 複数のCNN予測をAdaBoostベースで統合することは、単一モデルや単純平均化手法よりも優れた性能をもたらすか？
• RQ3 本手法は、より困難で現実的データを含む交差データセット評価において、どのように一般化するか？
• RQ4 オクルージョンや照明不良を伴う顔を含む、より困難な新しいデータセットは、現実のgender分類の困難さをよりよく反映できるか？
• RQ5 画像品質が悪い状況下で、包括的顔画像に比べて分離された顔特徴がより信頼性の高いgenderの手がかりを提供するか？

主な発見

• LFWデータセットにおいて、AFIF4は95.98%のテスト精度を達成し、同じ評価設定で最先端手法DL-GC（93.60%）およびSDL-GC（94.90%）を上回った。
• Groupsデータセットでは、AFIF4は90.73%の精度を達成し、SOTAの83.30%（DL-GC）および84.40%（SDL-GC）を上回った。
• 交差データセット評価では、FERETデータセットで最高の精度（99.49%）を記録し、すべてのテストされた交差データセット組み合わせでSOTA手法を一貫して上回った。
• 合成的オクルージョンとフィルタを含む完全なSoFデータセットは、最も困難なデータセットと特定され、LFWで学習した場合の交差データセット精度が最低（65.76%）であった。
• 本手法で導入されたデータセットには、手作業によるラベルとgenderラベルが付与された42,592枚の顔画像が含まれており、オクルージョンと照明変動の挑戦を強化するために特に設計されたものである。
• 本手法は高い耐障害性を示し、同じデータで学習した場合、完全なSoFデータセットで97.21%の精度を達成した。これは、画像劣化に対して非常に高い耐性があることを示している。