[논문 리뷰] Can you tell where in India I am from? Comparing humans and computers on fine-grained race face classification

Harish Katti, S. P. Arun|arXiv (Cornell University)|2017. 03. 22.

Face recognition and analysis참고 문헌 9인용 수 3

한 줄 요약

이 연구는 1,647장의 다양한 얼굴을 포함한 새로운 데이터셋을 바탕으로 북인도인과 남인도인 얼굴을 구분하는 세밀한 인종 분류 작업을 제안한다. 이 데이터셋은 인간 레이블러 129명의 성능 데이터를 포함하고 있다. 기계는 전체 정확도가 64%로 인간과 유사하게 나타났지만, 오류 패턴은 체계적으로 다름을 확인하였고, 입모양이 가장 구분력 있는 얼굴 특징임을 입증하였다. 이는 입을 가림 실험에서 인간의 성능이 가장 크게 떨어졌다는 점에서 뒷받 underlined 되었다.

ABSTRACT

Faces form the basis for a rich variety of judgments in humans, yet the underlying features remain poorly understood. Although fine-grained distinctions within a race might more strongly constrain possible facial features used by humans than in case of coarse categories such as race or gender, such fine grained distinctions are relatively less studied. Fine-grained race classification is also interesting because even humans may not be perfectly accurate on these tasks. This allows us to compare errors made by humans and machines, in contrast to standard object detection tasks where human performance is nearly perfect. We have developed a novel face database of close to 1650 diverse Indian faces labeled for fine-grained race (South vs North India) as well as for age, weight, height and gender. We then asked close to 130 human subjects who were instructed to categorize each face as belonging toa Northern or Southern state in India. We then compared human performance on this task with that of computational models trained on the ground-truth labels. Our main results are as follows: (1) Humans are highly consistent (average accuracy: 63.6%), with some faces being consistently classified with > 90% accuracy and others consistently misclassified with < 30% accuracy; (2) Models trained on ground-truth labels showed slightly worse performance (average accuracy: 62%) but showed higher accuracy (72.2%) on faces classified with > 80% accuracy by humans. This was true for models trained on simple spatial and intensity measurements extracted from faces as well as deep neural networks trained on race or gender classification; (3) Using overcomplete banks of features derived from each face part, we found that mouth shape was the single largest contributor towards fine-grained race classification, whereas distances between face parts was the strongest predictor of gender.

연구 동기 및 목표

• 북인도인과 남인도인 얼굴을 구분하는 어려운 세밀한 인종 분류 작업에서 인간의 성능을 조사하기 위해.
• 거시적 인종 범주에 국한되지 않고, 이러한 세밀한 지역적 인종 차이를 식별하기 위해 인간이 사용하는 특정 얼굴 특징을 규명하기 위해.
• 동일한 작업에서 기계 학습 모델의 성능과 오류 패턴을 인간의 성능과 비교하기 위해.
• 행동적 가림 실험을 통해 특정 얼굴 영역의 중요성을 검증하기 위해.
• 얼굴 인식에서 인간과 기계 간의 표현 학습의 체계적 차이를 밝혀내기 위해.

제안 방법

• 북인도인 또는 남인도인 기원으로 레이블링된 1,647장의 다양한 인도인 얼굴로 구성된 새로운 데이터셋을 구축하였으며, 129명의 인간 참가자로부터 성능 데이터를 확보하였다.
• 눈, 코, 입, 윤곽선 등 개별 얼굴 부위에서 추출한 특징의 초과채워진 집합을 기반으로 선형 분류기를 훈련시켜 구분력 있는 특징을 식별하였다.
• 24명의 인간 참가자가 참여한 통제된 행동 실험을 실시하여, 각기 다른 조건에서 눈, 코 또는 입을 가림으로써 특징 중요도를 평가하였다.
• 가림 조건 간의 분류 정확도와 반응 시간을 비교하기 위해 윌코크슨 부호순위 검정을 사용하였다.
• 다양한 기계 학습 모델을 데이터셋에 적용하고 인간의 오류 패턴과 비교하였다.
• 각 가림 조건(비가림, 눈 가림, 코 가림, 입 가림)에 대해 217장의 얼굴을 선별하였으며, 조건 간 기준 정확도(~69%)가 유사하도록 하였다.

실험 결과

연구 질문

• RQ1 인간은 인도인 얼굴의 세밀한 지역적 인종 차이를 식별하기 위해 어떤 얼굴 특징을 사용하는가?
• RQ2 기계 학습 모델은 인간과 비교해 이 세밀한 분류 작업에서 어떻게 성능을 내는가?
• RQ3 이 어려운 분류 작업에서 인간과 기계의 오류 패턴은 체계적으로 다를까?
• RQ4 특정 얼굴 영역을 가림으로써 인간의 분류 정확도가 떨어지며, 만약 그렇다면 어떤 영역이 가장 큰 영향을 미치는가?
• RQ5 얼굴 특징의 계산 모델링을 통해 인간 얼굴 인식에서 얼굴 부위의 상대적 중요도를 예측할 수 있는가?

주요 결과

• 인간은 세밀한 북인도인 대 남인도인 얼굴 분류 작업에서 비가림 얼굴에서 평균 정확도 65.8%를 기록하였다.
• 기계는 인간과 유사한 전체 정확도(64%)를 달성했지만, 얼굴 간 오류 패턴은 정성적으로 다름을 보였다.
• 입을 가리면 인간의 분류 정확도가 가장 크게 떨어졌으며(59.8%), 눈을 가린 경우(63.6%)나 코를 가린 경우(61.1%)보다 유의미하게 낮았고(p < 0.0005), 비가림 상태와 비교하여 유의미한 차이를 보였다.
• 입을 가린 얼굴의 반응 시간은 비가림 상태보다 유의미하게 길었으며(p < 0.0005), 더 높은 인지 부담과 입모양 의존도를 확인하였다.
• 부위별 특징에 기반한 선형 분류기는 입모양이 인종 분류에 가장 구분력 있는 특징임을 확인하였으며, 행동 실험 결과를 지지하였다.
• 기계와 인간 간 오류 패턴의 체계적 차이는 인간이 표준 기계 표현에서 포착되지 않는 독특하고 해석이 어려운 특징을 사용한다는 것을 시사한다.