[논문 리뷰] Face Synthesis for Eyeglass-Robust Face Recognition

Jianzhu Guo, Xiangyu Zhu외 2명|arXiv (Cornell University)|2018. 06. 04.

Face recognition and analysis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 딥러닝 모델 훈련을 위한 고해상도 안경 착용 얼굴 이미지를 생성하기 위해 3D 기반 가상 얼굴 합성 기법을 제안하며, 안경에 의한 영향에 대해 얼굴 인식의 강건성을 크게 향상시킨다. 3D 얼굴 및 안경 모델을 사용해 다양한 안경 유형을 합성하고, 새로운 메트릭 학습 손실 함수를 결합함으로써, 특히 낮은 FAR 조건에서 최신 기술 수준의 성능을 달성하였으며, 프로토콜 IV에서 FAR=10^{-6}일 때 상대적 성능 향상률이 20%에 이르렀다.

ABSTRACT

In the application of face recognition, eyeglasses could significantly degrade the recognition accuracy. A feasible method is to collect large-scale face images with eyeglasses for training deep learning methods. However, it is difficult to collect the images with and without glasses of the same identity, so that it is difficult to optimize the intra-variations caused by eyeglasses. In this paper, we propose to address this problem in a virtual synthesis manner. The high-fidelity face images with eyeglasses are synthesized based on 3D face model and 3D eyeglasses. Models based on deep learning methods are then trained on the synthesized eyeglass face dataset, achieving better performance than previous ones. Experiments on the real face database validate the effectiveness of our synthesized data for improving eyeglass face recognition performance.

연구 동기 및 목표

• 두꺼운 검정 테 안경으로 인한 얼굴 인식 정확도 저하 문제를 해결하기 위해.
• 훈련을 위해 실제 안경 착용 및 비착용 이미지 쌍을 수집하는 데 어려움이 있다는 문제를 해결하기 위해.
• 실제적인 다양성을 갖춘 안경 착용 얼굴 이미지를 생성하여 강건한 모델 훈련을 위한 가상 데이터 증강 방법을 개발하기 위해.
• 합성 데이터와 새로운 손실 함수를 통해 안경으로 인한 클래스 내 변형에 대한 딥러닝 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 3DMM 피팅 또는 회귀 방법을 사용해 2D 이미지에서 3D 얼굴 모델을 재구성한다.
• 앵커 포인트를 사용해 재구성된 3D 얼굴에 3D 안경을 피팅하고 Eq. (1)을 통해 최적화하여 정렬 오차를 최소화한다.
• 실제적인 렌더링을 위해 z-buffer 및 Phong 조명 모델을 적용하여 합성된 안경을 원본 이미지에 융합한다.
• 3D 안경 형태, 조명, 피치, 수직 이동에 랜덤성을 도입하여 합성 데이터의 다양성을 증가시킨다.
• 실제 MsCeleb 이미지와 합성된 안경 착용 버전을 조합하여 합성 훈련 데이터셋인 MsCeleb-Eyeglass를 구축한다.
• 합성 데이터를 보다 효과적으로 활용하고 특징의 분류 능력을 향상시키기 위해 점진적 샘플링 기반의 새로운 메트릭 학습 손실 함수를 제안한다.

실험 결과

연구 질문

• RQ1 실제 환경의 가림 상황에서 안경 착용 얼굴의 가상 합성이 딥러닝 기반 얼굴 인식 성능 향상에 기여할 수 있는가?
• RQ2 3D 얼굴 및 안경 모델을 활용한 합성 데이터 증강 기법이 안경으로 인한 성능 저하를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 점진적 샘플링 기반의 새로운 메트릭 학습 손실 함수가 합성 및 실제 데이터에 대한 모델의 일반화 능력을 향상시키는가?
• RQ4 다양한 수준의 안경 가림 상황에서, 합성 데이터로 훈련된 모델의 성능가 실데이터 전용 기준 모델과 비교해 어떻게 되는가?

주요 결과

• 실제 MsCeleb와 합성된 MsCeleb-Eyeglass 데이터의 혼합 데이터로 훈련된 ResNet-22-D 모델이 모든 프로토콜에서 최고의 성능을 기록하였으며, 특히 프로토콜 IV에서 두드러진 성능을 보였다.
• 프로토콜 IV에서는 프로브 및 갤러리 세트에 모두 안경이 포함되어 있어, FAR=10^{-4}일 때 TPR가 90.14%에 도달했으며, 기준 모델 대비 12%의 상대적 성능 향상을 기록했다.
• FAR=10^{-6}일 때, 기준 모델 대비 약 20%의 성능 향상을 기록하여 심각한 가림 상황에 대한 강건성을 입증했다.
• 제안된 합성 데이터와 손실 함수는 안경 가림이 가장 심각하게 영향을 미치는 프로토콜 III 및 IV에서 성능 향상에 크게 기여했다.
• 그림 4의 ROC 곡선은 합성 데이터 및 새로운 손실 함수를 사용한 모델이 낮은 FAR 임계값에서 일관되게 뛰어난 성능을 보임을 보여준다.
• 1.7K명의 신원을 포함하는 MeGlass 데이터셋을 공개하여 향후 안경에 강건한 얼굴 인식 연구를 지원한다.