[논문 리뷰] Recognizing Semantic Features in Faces using Deep Learning

Amogh Gudi|arXiv (Cornell University)|2015. 12. 02.

Face recognition and analysis참고 문헌 16인용 수 35

한 줄 요약

이 논문은 2차원 얼굴 이미지에서 수동적 특징 설계 없이 감정, 연령, 성별, 민족 등 의미론적 얼굴 특징을 자동으로 인식하기 위해 컨volutional 신경망(CNNs)을 사용하는 딥러닝 프레임워크를 제안한다. 이 방법은 엔드 투 엔드 학습을 통해 인간 수준에 가까운 성능을 달성하며, 다중 특징의 동시 분류에서 정확도 저하가 최소화되고, 딥 네트워크를 이용해 2D 이미지에서 3D 활성 어파랑 모델(AAMs)을 생성하는 새로운 접근법을 제안한다.

ABSTRACT

The human face constantly conveys information, both consciously and subconsciously. However, as basic as it is for humans to visually interpret this information, it is quite a big challenge for machines. Conventional semantic facial feature recognition and analysis techniques are already in use and are based on physiological heuristics, but they suffer from lack of robustness and high computation time. This thesis aims to explore ways for machines to learn to interpret semantic information available in faces in an automated manner without requiring manual design of feature detectors, using the approach of Deep Learning. This thesis provides a study of the effects of various factors and hyper-parameters of deep neural networks in the process of determining an optimal network configuration for the task of semantic facial feature recognition. This thesis explores the effectiveness of the system to recognize the various semantic features (like emotions, age, gender, ethnicity etc.) present in faces. Furthermore, the relation between the effect of high-level concepts on low level features is explored through an analysis of the similarities in low-level descriptors of different semantic features. This thesis also demonstrates a novel idea of using a deep network to generate 3-D Active Appearance Models of faces from real-world 2-D images. For a more detailed report on this work, please see [arXiv:1512.00743v1].

연구 동기 및 목표

• 수동적 특징 설계 없이 감정, 연령, 성별, 민족 등의 의미론적 얼굴 특징을 자동으로 인식할 수 있는 딥러닝 기반 시스템을 개발하기 위해.
• 네트워크 하이퍼파라미터, 입력 전처리, 척도가 의미론적 얼굴 특징 분류 정확도에 미치는 영향을 조사하기 위해.
• 딥 네트워크가 학습한 고수준 의미론적 개념(예: 감정)과 저수준 시각적 기술자(예: 에지, 텍스처) 간의 관계를 탐색하기 위해.
• 딥 네트워크를 사용해 2D 얼굴 이미지에서 3D 활성 어파랑 모델(AAMs)을 생성하는 것이 가능한지 평가하기 위해.

제안 방법

• 의미론적 특징인 감정, 연령, 성별, 민족 등을 분류하기 위해 사전 처리 및 정렬된 2D 얼굴 이미지에서 딥 컨volution 신경망(CNNs)을 학습시켰다.
• 네트워크 성능 향상과 일반화 능력 향상을 위해 결정론적 전처리 및 이미지 정렬을 적용하였다.
• 다양한 의미론적 작업 간의 저수준 특징 표현을 비교하기 위해 첫 번째 컨볼루션 필터의 코사인 유사도 분석을 수행하였다.
• 통합 37개 클래스 레이블 세트를 사용해 다중 상호배타적이지 않은 얼굴 속성들을 동시에 예측할 수 있도록 공동 분류 네트워크를 설계하였다.
• 압축되고 구조화된 표현을 학습함으로써 2D 이미지에서 3D 활성 어파랑 모델(AAMs)을 생성하는 새로운 딥러닝 기반 방법을 제안하였다.
• 표준 지표를 사용해 네트워크 성능을 평가하고, 공동 분류 정확도를 개별 작업 네트워크와 비교하였다.

실험 결과

연구 질문

• RQ1 딥러닝은 어떻게 감정, 연령, 성별, 민족 등의 의미론적 얼굴 특징을 엔드 투 엔드 방식으로 인식할 수 있는가?
• RQ2 하이퍼파라미터, 입력 전처리, 네트워크 아키텍처는 의미론적 얼굴 특징 인식에서 딥 네트워크 성능에 어떤 영향을 미치는가?
• RQ3 딥 네트워크 내에서 고수준 의미론적 개념(예: 감정)과 저수준 시각적 기술자(예: 에지, 텍스처) 간의 관계는 어떠한가?
• RQ4 한 개의 딥 네트워크가 성능 저하를 최소화하면서 다중 상호배타적이지 않은 얼굴 속성을 동시에 분류할 수 있는가?
• RQ5 2D 얼굴 이미지에서 3D 활성 어파랑 모델(AAMs)을 생성하기 위해 딥 네트워크를 학습시키는 것이 가능한가?

주요 결과

• 딥러닝 모델은 감정, 연령, 성별, 민족 등의 의미론적 얼굴 특징 인식에서 인간 수준에 가까운 성능을 달성하였다.
• 전처리 및 이미지 정렬이 분류 정확도를 크게 향상시켜 입력 품질과 일관성의 중요성을 입증하였다.
• 유사한 작업(예: 연령, 성별, 얼굴 털)에 대해 첫 번째 레이어의 가중치에서 저수준 특징 맵이 높은 코사인 유사도를 보였으며, 이는 공통된 시각적 패턴을 공유하고 있음을 시사한다.
• 공동 분류 네트워크는 개별 네트워크 대비 평균 1.84% 정확도 저하를 보였으며(범위: 0.91%–4.71%), 다중 작업 학습이 최소한의 성능 희생으로 효과적으로 작동함을 입증하였다.
• 네트워크는 2D 이미지에서 3D 활성 어파랑 모델을 성공적으로 생성하였으며, 실제 얼굴의 경우 X/Y 축 평균 오차가 각각 2.05°/1.56°였고, 합성 얼굴의 경우 2.23°/1.66°였으며, 형태와 자세 재구성의 정밀도가 높음을 보였다.
• 본 연구는 처음으로 딥 네트워크가 2D 이미지에서 직접 압축되고 구조화된 3D 표현(AAMs)을 예측할 수 있음을 입증하였다.