[논문 리뷰] Multi-channel Deep 3D Face Recognition

Zhiqian You, Tingting Yang외 1명|arXiv (Cornell University)|2020. 09. 30.

Face recognition and analysis참고 문헌 24인용 수 5

한 줄 요약

이 논문은 3D 얼굴 데이터를 2차원 평면에 투영할 때 기하학적 정확성을 유지하기 위해 동형 매핑(conformal mapping)을 활용하는 다중채널 딥 3D 얼굴 인식 네트워크를 제안한다. 3D 삼각형 메esh에서 아홉 가지 기하학적 및 색채 채널을 계산하여 수정된 CNN에 입력함으로써, 이 방법은 98.6%의 인식 정확도를 달성하여 정사투영 기반 기준선보다 뚜렷이 뛰어나다.

ABSTRACT

Face recognition has been of great importance in many applications as a biometric for its throughput, convenience, and non-invasiveness. Recent advancements in deep Convolutional Neural Network (CNN) architectures have boosted significantly the performance of face recognition based on two-dimensional (2D) facial texture images and outperformed the previous state of the art using conventional methods. However, the accuracy of 2D face recognition is still challenged by the change of pose, illumination, make-up, and expression. On the other hand, the geometric information contained in three-dimensional (3D) face data has the potential to overcome the fundamental limitations of 2D face data. We propose a multi-Channel deep 3D face network for face recognition based on 3D face data. We compute the geometric information of a 3D face based on its piecewise-linear triangular mesh structure and then conformally flatten geometric information along with the color from 3D to 2D plane to leverage the state-of-the-art deep CNN architectures. We modify the input layer of the network to take images with nine channels instead of three only such that more geometric information can be explicitly fed to it. We pre-train the network using images from the VGG-Face \cite{Parkhi2015} and then fine-tune it with the generated multi-channel face images. The face recognition accuracy of the multi-Channel deep 3D face network has achieved 98.6. The experimental results also clearly show that the network performs much better when a 9-channel image is flattened to plane based on the conformal map compared with the orthographic projection.

연구 동기 및 목표

• 자세, 조명 및 표정 변화에 의해 영향을 받는 2D 얼굴 인식의 한계를 3D 기하학적 데이터를 활용하여 해결한다.
• 기존의 3D에서 2D로의 투영 방식(예: 정사투영)에서 발생하는 왜곡을 극복하여 기하학적 정확성을 향상시킨다.
• 색상과 깊이 이외의 더 풍부한 기하학적 특징을 통합함으로써 딥 CNN 성능을 향상시킨다.
• 기존의 2D CNN 아키텍처에 효과적으로 다중채널 3D 기하학적 정보를 통합할 수 있는 방법을 개발한다.
• 동형 매핑이 표준 투영 방식보다 국소적 형태와 각도를 더 잘 유지함으로써 인식 정확도 향상에 기여함을 입증한다.

제안 방법

• 기하학적 분석을 위해 3D 얼굴 점군을 조각별 선형 삼각형 메쉬로 변환한다.
• 이산 표면 리치 흐름을 사용하여 메쉬에서 아홉 가지 기하학적 특징(예: 곡률, 법선 벡터, 동형 인자)을 계산한다.
• 각도와 국소적 형태를 유지하는 동형 매핑을 적용하여 3D 기하학적 및 색채 데이터를 2차원 평면으로 평탄화한다.
• 색상과 계산된 기하학적 특징을 조합한 아홉 채널 이미지를 제작하여 딥 CNN에 입력한다.
• 기존의 VGG-Face 네트워크의 입력 레이어를 수정하여 세 채널 대신 아홉 채널 입력을 수용하도록 한다.
• VGG-Face 데이터로 사전 훈련한 후, 생성된 다중채널 3D 얼굴 이미지로 네트워크를 미세조정한다.

실험 결과

연구 질문

• RQ1 3D 얼굴 기하학적 특징을 2차원 평면으로 평탄화할 때, 동형 매핑이 정사투영보다 더 정확하게 기하학적 특징을 유지할 수 있는가?
• RQ2 딥 CNN에 아홉 채널의 기하학적 및 색채 데이터를 통합하면 단일 또는 세 채널 입력 대비 얼굴 인식 정확도가 향상되는가?
• RQ3 다양한 조건에서 다중채널 3D 얼굴 인식 네트워크의 성능은 최신 2D 및 3D CNN 방법과 비교해 어떻게 되는가?
• RQ4 동형 매핑에서 기인하는 기하학적 정확성 향상으로 인해 자세나 표정 변화로 인한 오류가 얼마나 감소하는가?
• RQ5 제한된 레이블이 부여된 3D 얼굴 데이터가 다중채널 3D 얼굴 인식 네트워크 성능에 미치는 영향은 무엇인가?

주요 결과

• 다중채널 딥 3D 얼굴 네트워크는 Bosphorus 및 TexasFRD 데이터셋에서 랭크-1 인식 정확도 98.6%를 달성했다.
• 정사투영 기반 9채널 방법은 오직 95.6%의 정확도를 기록하여 동형 매핑의 우수성을 입증했다.
• 동형 매핑은 국소 기하학적 구조와 각도를 잘 유지하여 정사투영 대비 왜곡을 줄였다.
• 기존의 3D 얼굴 인식 기법과 FaceNet과 같은 2D 얼굴 인식 모델보다 인식 성능을 크게 향상시켰다.
• 제한된 훈련 데이터 조건에서도 동형 매핑을 사용한 경우 정사투영 대비 네트워크 성능이 뚜렷이 뛰어났다.
• 제한된 훈련 데이터 조건에서도 다중채널 3D 얼굴 인식 방법 중 최고 성능을 달성하여 기하학적 특징 인코딩의 효과성을 입증했다.