[論文レビュー] Can you tell where in India I am from? Comparing humans and computers on fine-grained race face classification

Harish Katti, S. P. Arun|arXiv (Cornell University)|Mar 22, 2017

Face recognition and analysis参考文献 9被引用数 3

ひとこと要約

本研究は、1,647枚の多様な顔画像を含む新規データセットを用いて、北インド人対南インド人の顔を細分化して識別するタスクを提示する。このデータセットには人間によるラベル付けと129名の被験者のパフォーマンスデータが含まれる。マシンは全体的な正確度（64%）で人間と同等の性能を示したが、誤りのパターンは人間とは系統的に異なっていた。口の形が最も特徴的な顔の特徴であることが判明し、遮蔽実験により人間のパフォーマンスは口を隠した際に最も低下した。

ABSTRACT

Faces form the basis for a rich variety of judgments in humans, yet the underlying features remain poorly understood. Although fine-grained distinctions within a race might more strongly constrain possible facial features used by humans than in case of coarse categories such as race or gender, such fine grained distinctions are relatively less studied. Fine-grained race classification is also interesting because even humans may not be perfectly accurate on these tasks. This allows us to compare errors made by humans and machines, in contrast to standard object detection tasks where human performance is nearly perfect. We have developed a novel face database of close to 1650 diverse Indian faces labeled for fine-grained race (South vs North India) as well as for age, weight, height and gender. We then asked close to 130 human subjects who were instructed to categorize each face as belonging toa Northern or Southern state in India. We then compared human performance on this task with that of computational models trained on the ground-truth labels. Our main results are as follows: (1) Humans are highly consistent (average accuracy: 63.6%), with some faces being consistently classified with > 90% accuracy and others consistently misclassified with < 30% accuracy; (2) Models trained on ground-truth labels showed slightly worse performance (average accuracy: 62%) but showed higher accuracy (72.2%) on faces classified with > 80% accuracy by humans. This was true for models trained on simple spatial and intensity measurements extracted from faces as well as deep neural networks trained on race or gender classification; (3) Using overcomplete banks of features derived from each face part, we found that mouth shape was the single largest contributor towards fine-grained race classification, whereas distances between face parts was the strongest predictor of gender.

研究の動機と目的

• 北インド人と南インド人の顔を細分化して識別する困難なタスクにおける人間のパフォーマンスを調査すること。
• 粗い人種カテゴリーの制限を超えて、人間がこのような細分化された人種的差異を識別するために使用する具体的な顔の特徴を特定すること。
• 同じタスクにおいて、機械学習モデルのパフォーマンスと誤りのパターンを人間のパフォーマンスと比較すること。
• 行動的遮蔽実験を用いて、特定の顔領域の重要性を検証すること。
• 顔認識における人間とマシンの表象学習の間の系統的な違いを解明すること。

提案手法

• 北インド人対南インド人としてラベル付けされた1,647枚の多様なインド人の顔画像から構成される新規データセットを構築し、129名の被験者によるパフォーマンスデータを収集した。
• 目の周辺、鼻、口、輪郭などの個々の顔の部位から抽出された特徴量の過剰な集合を用いて線形分類器を訓練し、特徴の識別能を特定した。
• 24名の被験者を対象に、制御された行動実験を実施。それぞれの条件下で目、鼻、口を遮蔽し、特徴の重要性を評価した。
• ウィルコクソン符号順位検定を用いて、遮蔽条件ごとの分類正確度と反応時間の差を比較した。
• 複数の機械学習モデルをこのデータセットで評価し、人間の誤りパターンと比較した。
• 遮蔽条件ごとに217枚の顔画像を選択（非遮蔽、目遮蔽、鼻遮蔽、口遮蔽）、各条件下でのベースライン正確度（約69%）を同等に保った。

実験結果

リサーチクエスチョン

• RQ1 人間は、インド人の顔における細分化された地域的人種的差異を識別するために、どの顔の特徴を使用しているのか？
• RQ2 機械学習モデルは、人間と比較して、この細分化された分類タスクでどの程度のパフォーマンスを示すのか？
• RQ3 この困難な分類タスクにおいて、マシンと人間の誤りパターンは系統的に異なるのか？
• RQ4 特定の顔領域を遮蔽すると、人間の分類正確度は低下するのか。もしそうなら、どの領域が最も大きな影響を与えるのか？
• RQ5 顔の特徴の計算モデルは、人間の顔認識における顔の部位の相対的重要性を予測できるか？

主な発見

• 人間は、非遮蔽状態の顔において、細分化された北インド人対南インド人顔分類タスクで平均65.8%の正確度を達成した。
• マシンは人間と同等の全体的な正確度（64%）を達成したが、顔ごとの誤りパターンは人間とは質的に異なっていた。
• 口を遮蔽した場合、人間の分類正確度は最も低下し（59.8%）、目を遮蔽した場合（63.6%）や鼻を遮蔽した場合（61.1%）よりも顕著に低く、非遮蔽状態と比較してp < 0.0005であった。
• 反応時間は、口を遮蔽した状態で顕著に長くなった（非遮蔽状態と比較してp < 0.0005）、これは認知的負荷の増加と口の形への依存を裏付けた。
• 部位特化型特徴量に基づく線形分類器は、人種分類において口の形が最も識別能の高い特徴であると特定した。これは行動的実験の結果を支持するものであった。
• マシンと人間の誤りパターンに系統的な違いが見られるという事実は、人間が標準的なマシン表現では捉えきれない、特徴的な非解釈可能な特徴を用いている可能性を示唆している。