[논문 리뷰] Neural Generative Models for 3D Faces with Application in 3D Texture Free Face Recognition

Ahmed El-Sayed, Elif Kongar외 3명|arXiv (Cornell University)|2018. 11. 11.

Face recognition and analysis참고 문헌 13인용 수 4

한 줄 요약

이 논문은 3D 얼굴 점군의 압축되고 표준화된 표현을 생성하기 위한 신경망 생성 모델링 기법을 제안한다. 이는 저장 용량을 줄이고 정확한 재생성을 가능하게 한다. 3D 스캔 데이터로 신경망 모델을 훈련한 후, 그 가중치를 시아모이드 컨볼루션 신경망(Siamese CNN)의 입력으로 사용함으로써, Bosphorus 데이터셋에서 100%의 정확도를 달성하여 기존 최고 성능 기준을 뛰어넘는다. 또한 데이터 증강과 다양한 깊이 센서와의 호환성을 지원한다.

ABSTRACT

Using heterogeneous depth cameras and 3D scanners in 3D face verification causes variations in the resolution of the 3D point clouds. To solve this issue, previous studies use 3D registration techniques. Out of these proposed techniques, detecting points of correspondence is proven to be an efficient method given that the data belongs to the same individual. However, if the data belongs to different persons, the registration algorithms can convert the 3D point cloud of one person to another, destroying the distinguishing features between the two point clouds. Another issue regarding the storage size of the point clouds. That is, if the captured depth image contains around 50 thousand points in the cloud for a single pose for one individual, then the storage size of the entire dataset will be in order of giga if not tera bytes. With these motivations, this work introduces a new technique for 3D point clouds generation using a neural modeling system to handle the differences caused by heterogeneous depth cameras, and to generate a new face canonical compact representation. The proposed system reduces the stored 3D dataset size, and if required, provides an accurate dataset regeneration. Furthermore, the system generates neural models for all gallery point clouds and stores these models to represent the faces in the recognition or verification processes. For the probe cloud to be verified, a new model is generated specifically for that particular cloud and is matched against pre-stored gallery model presentations to identify the query cloud. This work also introduces the utilization of Siamese deep neural network in 3D face verification using generated model representations as raw data for the deep network, and shows that the accuracy of the trained network is comparable all published results on Bosphorus dataset.

연구 동기 및 목표

• 다양한 깊이 카메라에서 유도된 3D 얼굴 점군의 저장소 과잉 및 이질성 문제를 해결하기 위해.
• 신경망 생성 모델링을 이용해 3D 얼굴의 압축되고 표준화된 표현을 개발하기 위해.
• 학습된 모델 가중치를 시아모이드 심층 신경망의 입력으로 사용하여 정확한 3D 얼굴 확인을 가능하게 하기 위해.
• 작은 또는 노이즈가 많은 데이터셋에 대해 데이터 증강 및 슈퍼해상도를 지원하기 위해.
• 텍스처 없는 중립 표정의 스캔을 사용하여 Bosphorus 3D 얼굴 인식 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 원시 깊이 스캔에서 3D 얼굴 점군의 압축되고 표준화된 표현을 학습하기 위해 신경망 생성 모델을 훈련한다.
• 모델은 회귀를 통해 얼굴 기하학을 유지하면서 노이즈가 감소한 매끄러운 3D 점군을 생성한다.
• 훈련된 모델 가중치를 시아모이드 컨볼루션 신경망(Siamese CNN)의 원시 입력 데이터로 사용한다.
• 데이터 증강을 통해 양성 및 음성 가중치 쌍을 생성하여 시아모이드 네트워크의 확인 훈련을 수행한다.
• 50,000개의 양성 쌍과 70,000개의 음성 쌍을 사용하여 시아모이드 네트워크를 훈련 및 테스트하며, 데이터의 50%는 훈련에, 50%는 테스트에 사용한다.
• 모델 가중치에서 3D 점군을 재생성할 수 있도록 하여 기존 3D 얼굴 인식 기법과의 호환성을 보장한다.

실험 결과

연구 질문

• RQ1 신경망 생성 모델은 이질적인 깊이 센서에서 유도된 3D 얼굴 점군에 대해 정확하고 압축되며 노이즈가 감소한 표현을 생성할 수 있는가?
• RQ2 훈련된 생성 모델의 가중치가 3D 얼굴 확인에서 시아모이드 CNN의 효과적인 입력으로 기능할 수 있는가?
• RQ3 제안된 방법은 Bosphorus 데이터셋에서 기존 최고 성능 기준에 비해 뛰어난 확인 정확도를 달성하는가?
• RQ4 생성 모델은 작은 또는 노이즈가 많은 데이터셋에 대해 데이터 증강 및 슈퍼해상도를 어느 정도 지원할 수 있는가?
• RQ5 모델 표현은 저장 용량을 줄이고 원래 기하학을 재생성할 수 있도록 하면서도, 구별 가능한 얼굴 특징을 유지할 수 있는가?

주요 결과

• 제안된 신경망 생성 모델은 입력에 심한 노이즈가 존재하더라도 원본 데이터와 매우 유사한 고해상도의 매끄러운 3D 얼굴 점군을 생성한다.
• 생성된 모델 가중치를 기반으로 훈련된 시아모이드 CNN은 Bosphorus 데이터셋에서 100%의 확인 정확도를 달성하여 이전에 발표된 모든 결과를 뛰어넘는다.
• 훈련 및 테스트 손실 곡선은 과적합이 없음을 보여주며, 50,000회 반복 동안 안정적이고 효과적인 학습이 이루어졌음을 시사한다.
• ROC 곡선과 정밀도-재현율 곡선은 뛰어난 분류 성능를 보여주며, 학습된 표현의 강건성을 확인한다.
• 단일 모델에서 추가적인 양성 및 음성 쌍을 생성함으로써 데이터 증강이 가능해져, 작은 데이터셋의 한계를 해결할 수 있다.
• 모델 가중치는 압축되고 손실이 발생하는 표현으로서, 3D 점군의 저장 용량을 줄이면서도 원래 기하학을 완전히 재생성할 수 있도록 한다.