[논문 리뷰] A Facial Feature Discovery Framework for Race Classification Using Deep Learning

Khalil Khan, Jehad Ali외 3명|arXiv (Cornell University)|2021. 03. 29.

Face recognition and analysis참고 문헌 48인용 수 4

한 줄 요약

이 논문은 먼저 얼굴 영상을 7개의 의미적 클래스(nose, skin, hair, eyes, brows, mouth, back)로 분할하는 DCNN를 사용한 딥러닝 프레임워크를 제안한다. 이후 확률 맵을 통해 5개의 핵심 클래스(배경 제외)에서 주목할 만한 특징을 추출한다. 이 방법은 주로 분류에 기여하는 특징에 집중함으로써, 기존의 접근 방식보다 우수한 성능을 보이며, 네 가지 표준 데이터셋에서 레이스 분류 정확도를 향상시킨다. 특히, 특징 탐지와 확률적 분류를 통해 성능을 향상시킨다.

ABSTRACT

Race classification is a long-standing challenge in the field of face image analysis. The investigation of salient facial features is an important task to avoid processing all face parts. Face segmentation strongly benefits several face analysis tasks, including ethnicity and race classification. We propose a raceclassification algorithm using a prior face segmentation framework. A deep convolutional neural network (DCNN) was used to construct a face segmentation model. For training the DCNN, we label face images according to seven different classes, that is, nose, skin, hair, eyes, brows, back, and mouth. The DCNN model developed in the first phase was used to create segmentation results. The probabilistic classification method is used, and probability maps (PMs) are created for each semantic class. We investigated five salient facial features from among seven that help in race classification. Features are extracted from the PMs of five classes, and a new model is trained based on the DCNN. We assessed the performance of the proposed race classification method on four standard face datasets, reporting superior results compared with previous studies.

연구 동기 및 목표

• 인종 간 차이를 가장 잘 반영하는 얼굴 특징을 특정하여 얼굴 영상 분석에서 레이스 분류 과제를 해결하기 위해.
• 전체 얼굴 부분을 처리하는 대신 핵심 얼굴 영역에 집중함으로써 계산 오버헤드를 줄이기 위해.
• 두 단계의 딥러닝 파이프라인(얼굴 분할 → 특징 기반 분류)을 통해 분류 정확도를 향상시키기 위해.
• 다양한 표준 데이터셋에서의 성능과 일반화 능력을 평가하기 위해 프레임워크를 검증하기 위해.
• 확률 맵에서 선택적 특징 추출이 레이스 분류 성능 향상에 기여하는지 확인하기 위해.

제안 방법

• 7개의 의미적 클래스(nose, skin, hair, eyes, brows, mouth, back)로 분할하는 데 사용되는 딥 컨volution 네트워크(DCNN)를 훈련한다.
• 훈련된 DCNN는 각 의미적 클래스에 대해 확률 맵(PM)을 생성하며, 이는 각 픽셀이 해당 클래스에 속할 가능성을 나타낸다.
• 레이스 분류에 있어 분류 능력이 뛰어난 5개의 주목할 만한 얼굴 특징(nose, skin, hair, eyes, brows)을 PM 기반으로 선별한다.
• 이 5개 클래스의 PM에서 특징을 추출하고, 이를 바탕으로 새로운 DCNN 기반 분류 모델을 훈련한다.
• 특징 표현을 개선하고 결정 경계를 향상시키기 위해 확률적 분류 방법을 적용한다.
• 성능과 일반화 능력을 평가하기 위해 네 가지 표준 얼굴 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 7개의 의미적 클래스 중에서 레이스 분류에 가장 분류 능력이 뛰어난 얼굴 특징는 무엇인가?
• RQ2 두 단계의 딥러닝 파이프라인(분할 → 특징 기반 분류)이 레이스 분류 정확도 향상에 기여하는가?
• RQ3 전체 얼굴 처리 대비 주목할 만한 얼굴 특징에 집중함으로써 모델의 성능과 효율성은 어떻게 영향을 받는가?
• RQ4 확률 맵의 사용이 레이스 분류를 위한 특징 표현을 얼마나 향상시키는가?
• RQ5 제안된 프레임워크는 표준 벤치마크 데이터셋에서 기존 방법과 비교해 어떤가?

주요 결과

• 제안된 프레임워크는 네 가지 표준 얼굴 데이터셋에서 기존 방법보다 뛰어난 레이스 분류 성능을 달성한다.
• 의미적 분할에서 유도된 확률 맵의 사용은 레이스 분류를 위한 특징 표현을 크게 향상시킨다.
• 모든 얼굴 부분을 처리하는 대신 주목할 만한 5개의 얼굴 특징(nose, skin, hair, eyes, brows)에 집중함으로써 모델의 정확도와 효율성이 향상된다.
• DCNN 기반 분할과 특징 기반 분류로 구성된 두 단계 접근 방식은 다양한 데이터셋에서 강력한 일반화 능력을 보였다.
• 제안된 프레임워크는 기존의 레이스 분류 방법을 모두 능가하며, 표적으로 지정된 얼굴 특징 탐지의 효과성을 입증한다.
• 의미적 얼굴 분할이 레이스 분류 작업의 성능 향상에 중요한 역할을 한다는 점을 연구가 검증하였다.