[논문 리뷰] Accurate Facial Parts Localization and Deep Learning for 3D Facial Expression Recognition

Asim Jan, Huaxiong Ding외 3명|arXiv (Cornell University)|2018. 03. 04.

Face and Expression Recognition참고 문헌 25인용 수 5

한 줄 요약

이 논문은 2D 텍스처 및 깊이 맵에서 정확한 얼굴 부위 정위치를 활용하고, 맞춤형 CNN 하위망을 통해 깊이 특징을 융합함으로써 부위별 중요도 가중치를 학습하는 새로운 3D 얼굴 표정 인식 시스템을 제안한다. 이 방법은 융합된 얼굴 부위에서 유도된 VGG-M-DF 특징을 사용하여 BU-3DFE 데이터셋에서 최고 성능인 평균 인식률 88.54%를 달성한다.

ABSTRACT

Meaningful facial parts can convey key cues for both facial action unit detection and expression prediction. Textured 3D face scan can provide both detailed 3D geometric shape and 2D texture appearance cues of the face which are beneficial for Facial Expression Recognition (FER). However, accurate facial parts extraction as well as their fusion are challenging tasks. In this paper, a novel system for 3D FER is designed based on accurate facial parts extraction and deep feature fusion of facial parts. In particular, each textured 3D face scan is firstly represented as a 2D texture map and a depth map with one-to-one dense correspondence. Then, the facial parts of both texture map and depth map are extracted using a novel 4-stage process consists of facial landmark localization, facial rotation correction, facial resizing, facial parts bounding box extraction and post-processing procedures. Finally, deep fusion Convolutional Neural Networks (CNNs) features of all facial parts are learned from both texture maps and depth maps, respectively and nonlinear SVMs are used for expression prediction. Experiments are conducted on the BU-3DFE database, demonstrating the effectiveness of combing different facial parts, texture and depth cues and reporting the state-of-the-art results in comparison with all existing methods under the same setting.

연구 동기 및 목표

• 의미 있는 얼굴 부위를 분류 단위로 활용하여 3D 얼굴 표정 인식(FER)의 성능을 향상시키기.
• 텍스처와 깊이 맵 간의 조밀한 대응 관계를 이용하여 텍스처가 있는 3D 얼굴 스캔에서 정확한 얼굴 부위 추출 문제를 해결하기.
• 다양한 얼굴 부위의 특징 중요도와 조합을 깊이 융합 CNN 하위망을 통해 학습하기.
• 개별 얼굴 부위 수준에서 2D 텍스처 및 3D 기하학적 신호를 융합함으로써 최고 성능을 달성하기.
• 3D FER에서 전체 얼굴 표현 방식에 비해 부위 기반 표현 방식의 우수성을 검증하기.

제안 방법

• 각 3D 얼굴 스캔은 일대일로 조밀한 대응 관계를 가지는 2D 텍스처 맵과 깊이 맵으로 분해된다.
• 4단계로 구성된 얼굴 부위 정위치 파이프라인을 적용한다: 얼굴 랜드마크 정위치, 회전 보정, 크기 조정, 후처리를 통한 바운딩 박스 추출.
• 사전 학습된 VGG-M-DF 네트워크가 각 얼굴 부위의 텍스처 및 깊이 맵에서 깊이 특징을 추출한다.
• 새로운 깊이 융합 하위망이 부위별 중요도 가중치를 학습하고 비선형적으로 특징을 융합하여 표정 예측을 수행한다.
• 최종 융합된 특징을 6개 기본 표정으로 분류하기 위해 비선형 SVM을 사용한다.
• 시스템은 BU-3DFE 데이터셋에서 표준 10겹 교차 검증 프rotocol에 따라 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 3D 얼굴 스캔에서 얼굴 부위의 정확한 정위치가 얼굴 표정 인식 성능을 향상시킬 수 있는가?
• RQ2 개별 얼굴 부위의 텍스처 및 깊이 신호는 표정 인식에 어떻게 기여하는가? 그리고 효과적으로 융합될 수 있는가?
• RQ3 깊이 융합 하위망을 통해 부위별 중요도 가중치를 학습하는 것이 전체 얼굴 또는 수작업 특징 융합에 비해 정확도 향상에 기여하는가?
• RQ4 각 얼굴 부위(예: 입, 눈, 눈썹)가 3D 데이터에서 표정 인식에 기여하는 상대적 기여도는 어떠한가?
• RQ5 제안된 방법이 이전 연구들과 동일한 평가 프rotocol 하에서 BU-3DFE 벤치마크에서 최고 성능을 달성하는가?

주요 결과

• 제안된 방법은 얼굴 부위에서 유도된 VGG-M-DF 특징을 사용하여 BU-3DFE 데이터셋에서 최고 성능인 평균 인식률 88.54%를 달성한다.
• 얼굴 부위에서 텍스처 및 깊이 특징을 융합하면 전체 얼굴 특징 융합 대비 3.04% 향상된 성능(85.58% 대비 88.54%)을 기록한다.
• 입은 가장 표현력 있는 얼굴 부위로, 텍스처 및 깊이 신호를 모두 사용할 경우 81.94%의 정확도를 달성한다.
• 수작업 특징에 비해 깊이 융합 하위망이 성능을 크게 향상시키며, 최고의 수작업 방법(Ulbp: 86.89%) 대비 2.95% 향상된 성능(88.54%)을 기록한다.
• 전체 얼굴 대비 얼굴 부위를 사용할 경우 모든 특징 유형에서 정확도 향상이 관찰되어, 부위 기반 표현 방식의 효과성을 입증한다.
• 2D 및 3D 신호 융합이 일관되게 성능 향상에 기여하며, 텍스처 특징이 깊이 특징보다 개별적으로 더 높은 성능을 보이나, 둘의 조합이 가장 높은 성능 향상을 이룬다.