[논문 리뷰] Deep Representation of Facial Geometric and Photometric Attributes for Automatic 3D Facial Expression Recognition

Huibin Li, Jian Sun외 3명|arXiv (Cornell University)|2015. 11. 10.

Face recognition and analysis참고 문헌 37인용 수 12

한 줄 요약

이 논문은 3D 얼굴 스캔에서 기하학적 및 광학적 특성 지도(기하, 법선, 곡률, 텍스처)를 추출하고, 사전 훈련된 CNN에 입력하여 분류 가능한 깊이 특징을 생성함으로써 3D 얼굴 표정 인식을 위한 딥 레프레젠테이션 프레임워크를 제안한다. 선형 SVM 융합을 사용할 때 BU-3DFE에서 84.87%의 정확도로 최신 기술 수준(SOTA) 성능을 달성하였으며, 동일한 프rotocol 하에서 수작업으로 만든 기술자와 이전의 SOTA 방법들을 모두 능가한다.

ABSTRACT

In this paper, we present a novel approach to automatic 3D Facial Expression Recognition (FER) based on deep representation of facial 3D geometric and 2D photometric attributes. A 3D face is firstly represented by its geometric and photometric attributes, including the geometry map, normal maps, normalized curvature map and texture map. These maps are then fed into a pre-trained deep convolutional neural network to generate the deep representation. Then the facial expression prediction is simplyachieved by training linear SVMs over the deep representation for different maps and fusing these SVM scores. The visualizations show that the deep representation provides a complete and highly discriminative coding scheme for 3D faces. Comprehensive experiments on the BU-3DFE database demonstrate that the proposed deep representation can outperform the widely used hand-crafted descriptors (i.e., LBP, SIFT, HOG, Gabor) and the state-of-art approaches under the same experimental protocols.

연구 동기 및 목표

• 조명 및 자세 변화에 취약한 2D FER의 한계를 3D 얼굴 기하학적 및 광학 데이터를 활용하여 보완한다.
• 밀도 있는 대응 및 정렬에 의존하는 모델 기반 3D FER 접근법의 주관적 편향과 높은 계산 비용 문제를 해결한다.
• 상용 딥 테처를 사용하여 완전 자동화되고 강건하며 분류 능력이 뛰어난 3D 표정에 대한 표현을 개발한다.
• 표준화된 프rotocol 하에서 딥 레프레젠테이션의 3D 특성 지도가 수작업으로 만든 기술자와 최신 기술 수준 방법들을 능가하는가를 입증한다.

제안 방법

• 3D 얼굴 스캔을 기하 지도, 법선 지도(x, y, z 성분), 곡률 지도, 텍스처 지도로 구성된 4개의 2D 특성 지도로 표현한다.
• 사전 훈련된 VGG-verydeep-19 CNN을 사용하거나 미세조정하여 각 특성 지도에서 깊이 컨volution 특징을 추출한다.
• 각 지도의 최종 완전 연결층에서 깊이 특징을 추출하여 얼굴 특성의 고차원 비선형 인코딩을 생성한다.
• 각 지도의 깊이 특징에 대해 별도의 선형 SVM을 훈련하여 표정을 예측한다.
• 결정 레벨에서 SVM 점수를 융합하여 최종 표정 예측을 도출한다.
• 학습된 필터와 특징 지도를 시각화하여 깊이 표현의 완전성과 분류 능력을 검증한다.

실험 결과

연구 질문

• RQ1 3D 얼굴 기하학적 및 광학적 특성의 딥 레프레젠테이션은 전통적인 수작업 기반 기술자(예: LBP, SIFT, HOG, Gabor)보다 3D FER에서 더 우수한 성능을 낼 수 있는가?
• RQ2 특성 지도에 사전 훈련된 CNN을 사용할 경우 3D 표정에 대해 더 분류 능력이 뛰어나고 완전한 특징 표현을 얻을 수 있는가?
• RQ3 표준화된 프rotocol 하에서 제안된 방법은 최신 기술 수준의 3D FER 접근법과 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ4 특히 공포나 슬픔과 같은 어려운 클래스에서 딥 레프레젠테이션은 어떤 정도의 분류 능력을 유지하는가?
• RQ5 단순한 선형 SVM과 상용 딥 테처를 사용할 경우, 비선형 커널이나 다중 커널 학습을 사용하는 복잡한 모델을 능가할 수 있는가?

주요 결과

• 제안된 딥 레프레젠테이션은 BU-3DFE 데이터셋의 프로토콜 I에서 평균 83.48%의 정확도, 프로토콜 II에서 84.87%의 정확도를 기록하여 표 Ⅶ에 나열된 모든 최신 기술 수준 방법들을 능가한다.
• 특히 공포 표정을 구분하는 데 있어 Gabor 기술자보다 뛰어난 분류 능력을 보이며, 정확도가 68.19%로 Gabor의 62.84%를 상회한다.
• 학습된 특징의 일반화 능력과 강건성을 입증하기 위해 모든 6개 기본 표정에서 일관된 성능을 보였으며, 프로토콜 I에서 행복(95.27%)과 놀람(96.34%)의 정확도가 높았다.
• 학습된 필터의 시각화 결과는 깊이 특징가 국소적 및 전반적인 얼굴 구조를 모두 포착하고 있음을 확인하여 표현의 완전성과 높은 분류 능력을 입증한다.
• 복잡한 모델 미세조정이나 다중 커널 학습 없이도 선형 SVM 하나와 각 지도당 하나의 딥 테처 유형만으로도 SOTA 성능을 달성하였다.
• 프로토콜 I과 II 간의 성능 격차는 프로토콜 II가 주관적 편향을 포함하고 있음을 시사하며, 제안된 방법은 더 신뢰할 수 있는 프로토콜 I에서도 강건하고 신뢰할 수 있는 성능을 유지한다.