[논문 리뷰] Data-Free Point Cloud Network for 3D Face Recognition

Ziyu Zhang, Feipeng Da외 1명|arXiv (Cornell University)|2019. 11. 12.

Face recognition and analysis참고 문헌 29인용 수 13

한 줄 요약

이 논문은 3D 얼굴 인식을 위한 데이터 프리(data-free) 방법을 제안하며, 곡률 인식 점 샘플링(CPS) 전략을 사용해 곡률에 민감한 특징 추출을 향상시키는 PointNet++ 기반 네트워크를 합성된 3D 얼굴 스캔에서만 훈련한다. 이 모델은 실제 얼굴로의 일반화 능력이 뛰어나며, 소규모 실제 데이터셋에서의 미세조정 후 최신 기술 수준의 성능을 달성하여 자세 및 표정 변화에 매우 강건함을 보였다.

ABSTRACT

Point clouds-based Networks have achieved great attention in 3D object classification, segmentation and indoor scene semantic parsing. In terms of face recognition, 3D face recognition method which directly consume point clouds as input is still under study. Two main factors account for this: One is how to get discriminative face representations from 3D point clouds using deep network; the other is the lack of large 3D training dataset. To address these problems, a data-free 3D face recognition method is proposed only using synthesized unreal data from statistical 3D Morphable Model to train a deep point cloud network. To ease the inconsistent distribution between model data and real faces, different point sampling methods are used in train and test phase. In this paper, we propose a curvature-aware point sampling(CPS) strategy replacing the original furthest point sampling(FPS) to hierarchically down-sample feature-sensitive points which are crucial to pass and aggregate features deeply. A PointNet++ like Network is used to extract face features directly from point clouds. The experimental results show that the network trained on generated data generalizes well for real 3D faces. Fine tuning on a small part of FRGCv2.0 and Bosphorus, which include real faces in different poses and expressions, further improves recognition accuracy.

연구 동기 및 목표

• 딥 네트워크 훈련을 위한 대규모 3D 얼굴 데이터셋 부족 문제 해결
• 합성 훈련 데이터와 실제 3D 얼굴 스캔 간의 도메인 갭 극복
• 로컬 및 글로벌 얼굴 특징을 효과적으로 캡처하는 포인트 클라우드 인식 딥 네트워크 설계
• 실제 훈련 데이터가 필요 없이 합성 데이터만으로 고성능 3D 얼굴 인식 구현, 최소한의 실제 샘플을 통한 미세조정 활용
• 분포 인식 샘플링 및 모델 설계를 통해 자세 및 표정 변화에 대한 강건성 향상

제안 방법

• 가우시안 프로세스 모러블 모델(GPMM)을 사용해 다양한 신원, 형태 및 표정을 가진 대규모 3D 얼굴 스캔을 합성
• 기하학적 곡률에 기반해 특징 민감한 점을 계층적으로 다운샘플링하는 곡률 인식 점 샘플링(CPS) 전략 도입 (기본적인 가장 먼 점 샘플링(FPS) 대체)
• 원시 포인트 클라우드에서 직접 계층적 로컬 및 글로벌 특징을 추출하기 위해 수정된 PointNet++ 아키텍처 설계
• 추론 중 얼굴 영역 제약 조건을 적용하여 샘플링 분포를 실제 얼굴 데이터와 일치시켜 합성 데이터와 실제 데이터 간 도메인 시프트 감소
• 합성 데이터에서 소프트맥스 분류를 사용해 네트워크를 엔드 투 엔드로 훈련한 후, FRGCv2.0 및 Bosphorus 데이터셋의 소규모 실제 얼굴 스캔에서 미세조정 수행
• 얼굴 확인 및 식별을 위해 512차원 특징 임베딩 사용, 자세 및 표정 변화 하에서 표준 벤치마크에서 평가

실험 결과

연구 질문

• RQ1 합성 3D 얼굴 데이터에서만 훈련된 딥 포인트 클라우드 네트워크가 실제 세계 3D 얼굴 인식 작업으로 일반화될 수 있는가?
• RQ2 3D 얼굴 인식에서 표준 가장 먼 점 샘플링(FPS)에 비해 곡률 인식 점 샘플링(CPS) 전략이 특징 표현을 어떻게 향상시키는가?
• RQ3 소규모 실제 얼굴 스캔에서의 미세조정이 합성 데이터에서 사전 훈련된 모델의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법이 실제 세계 3D 얼굴 데이터의 자세 및 표정 변화에 얼마나 강건한가?
• RQ5 GPMM로 생성된 데이터를 사용할 때 훈련 데이터 스케일이 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 합성 데이터에서만 훈련한 경우, FRGCv2.0 데이터셋에서 랭크-1 정확도 92.74%를 달성하여 표준 PointNet++(72.55%)보다 뚜렷이 뛰어남
• FRGCv2.0의 466개 실제 얼굴 스캔에서 미세조정한 후, 랭크-1 정확도 98.73%를 기록하여 300만 건 이상의 스캔으로 훈련된 FR3DNet(99.88%)에 근접한 성능 달성
• Bosphorus 데이터셋에서, 미세조정 없이도 전체 프로브 세트에서 93.38%의 랭크-1 정확도를 기록하였고, 30명의 신체적 정체성에서의 미세조정 후 97.50%로 향상됨
• 곡률 인식 점 샘플링(CPS) 전략이 특징 학습을 크게 향상시킴을 성능 격차를 통해 입증 (표준 PointNet++ 대비 제안 방법의 성능 격차)
• 실제 데이터에서의 미세조정은 성능 향상에 상당한 기여를 하였으며, 특히 표정 불변 작업에서 두드러진 효과를 보여 사전 훈련 및 미세조정 파이프라인의 효과성 입증
• 예상치 못한 신원에 대해서도 일반화 능력이 뛰어나며, 중립, 분노, 공포, 놀람 등의 다양한 표정 카테고리에서도 강력한 성능 유지