[論文レビュー] A Facial Feature Discovery Framework for Race Classification Using Deep Learning

Khalil Khan, Jehad Ali+3 more|arXiv (Cornell University)|Mar 29, 2021

Face recognition and analysis参考文献 48被引用数 4

ひとこと要約

本稿では、顔画像を7つの意味的クラス（鼻、皮膚、髪、目、眉毛、口、背景）に分割するDCNNを最初に用い、その後、確率マップから5つの重要なクラス（背景を除く）の顕著な特徴を抽出することで、レース分類のためのディープラーニングフレームワークを提案する。本手法は、判別性の高い顔特徴に注目することで、4つの標準データセットにおいて優れたレース分類精度を達成し、特徴の的確な同定と確率的分類により、先行手法を上回る性能を発揮する。

ABSTRACT

Race classification is a long-standing challenge in the field of face image analysis. The investigation of salient facial features is an important task to avoid processing all face parts. Face segmentation strongly benefits several face analysis tasks, including ethnicity and race classification. We propose a raceclassification algorithm using a prior face segmentation framework. A deep convolutional neural network (DCNN) was used to construct a face segmentation model. For training the DCNN, we label face images according to seven different classes, that is, nose, skin, hair, eyes, brows, back, and mouth. The DCNN model developed in the first phase was used to create segmentation results. The probabilistic classification method is used, and probability maps (PMs) are created for each semantic class. We investigated five salient facial features from among seven that help in race classification. Features are extracted from the PMs of five classes, and a new model is trained based on the DCNN. We assessed the performance of the proposed race classification method on four standard face datasets, reporting superior results compared with previous studies.

研究の動機と目的

• 顔画像解析におけるレース分類の課題に取り組み、民族的差別に最も寄与する顕著な顔特徴を同定すること。
• 全顔領域を処理するのではなく、重要な顔領域に焦点を当てることで計算負荷を低減すること。
• 顔のセグメンテーションの後に特徴に基づく分類を行う2段階のディープラーニングパイプラインを通じて、分類精度を向上させること。
• 複数の標準データセットを用いてフレームワークの妥当性と一般化性能を検証すること。
• 確率マップからの選択的特徴抽出が、レース分類性能を向上させることを実証すること。

提案手法

• 7つのクラス（鼻、皮膚、髪、目、眉毛、口、背景）に意味的顔画像セグメンテーションを実行するための深層畳み込みニューラルネットワーク（DCNN）を訓練する。
• 訓練されたDCNNは、各意味的クラスの各画素がそのクラスに属する確率を表す確率マップ（PM）を生成する。
• レース分類における判別力の高さを基準に、5つの顕著な顔特徴（鼻、皮膚、髪、目、眉毛）をPMから選択する。
• これらの5つのクラスのPMから特徴を抽出し、新たなDCNNベースの分類モデルを訓練する。
• 特徴表現の最適化と意思決定境界の改善のため、確率的分類手法を採用する。
• 性能と一般化能力の評価のため、4つの標準顔データセットを用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 7つの意味的クラスの中で、レース分類に最も判別性の高い顔特徴はどれか？
• RQ2 セグメンテーションの後に特徴に基づく分類を行う2段階のディープラーニングパイプラインは、レース分類精度を向上させ得るか？
• RQ3 全顔処理ではなく顕著な顔特徴に焦点を当てることで、モデルの性能と効率性にどのような影響を与えるか？
• RQ4 確率マップの使用が、レース分類のための特徴表現をどの程度向上させるか？
• RQ5 標準ベンチマークデータセットにおいて、本フレームワークは既存手法と比較してどの程度優れているか？

主な発見

• 提案されたフレームワークは、4つの標準顔データセットにおいて、先行手法よりも優れたレース分類性能を達成した。
• 意味的セグメンテーションからの確率マップの使用は、レース分類のための特徴表現を顕著に向上させた。
• 全顔領域ではなく、5つの顕著な顔特徴（鼻、皮膚、髪、目、眉毛）に焦点を当てたことで、モデルの精度と効率性が向上した。
• DCNNベースのセグメンテーションの後に特徴に基づく分類を行う2段階アプローチは、多様なデータセットにわたる強力な一般化性能を示した。
• フレームワークは、既存のレース分類手法を上回り、的確な顔特徴の同定の有効性を裏付けた。
• 本研究は、レース分類タスクの性能向上において、意味的顔セグメンテーションの重要性を検証した。