[논문 리뷰] Priming Deep Neural Networks with Synthetic Faces for Enhanced Performance

Adam Kortylewski, Andreas Schneider외 6명|arXiv (Cornell University)|2018. 11. 19.

Face recognition and analysis참고 문헌 56인용 수 6

한 줄 요약

이 논문은 얼굴 분석에서 일반화 능력과 데이터셋 효율성을 향상시키기 위해 3D 형태의 얼굴 모델에서 생성된 합성 얼굴 이미지를 사용해 딥 네ural 네트워크를 프리밍하는 방법을 제안한다. 무제한이고 제어 가능한 합성 데이터로 사전 훈련을 수행함으로써, 얼굴 인식의 경우 실재 데이터 요구량을 75% 감소시키고, 특징점 검출의 경우 50% 감소시킬 수 있으며, 데이터 증강과 전이 학습을 능가하는 성능을 기록하며 편향 영향까지 감소시킨다.

ABSTRACT

Today's most successful facial image analysis systems are based on deep neural networks. However, a major limitation of such deep learning approaches is that their performance depends strongly on the availability of large annotated datasets. In this work, we prime deep neural networks by pre-training them with synthetic face images for specific facial analysis tasks. We demonstrate that this approach enhances both the generalization performance as well as the dataset efficiency of deep neural networks. Using a 3D morphable face model, we generate arbitrary amounts of annotated data with full control over image characteristics such as facial shape and color, pose, illumination, and background. With a series of experiments, we extensively test the effect of priming deep neural networks with synthetic face examples for two popular facial image analysis tasks: face recognition and facial landmark detection. We observed the following positive effects for both tasks: 1) Priming with synthetic face images improves the generalization performance consistently across all benchmark datasets. 2) The amount of real-world data needed to achieve competitive performance is reduced by 75% for face recognition and by 50% for facial landmark detection. 3) Priming with synthetic faces is consistently superior at enhancing the performance of deep neural networks than data augmentation and transfer learning techniques. Furthermore, our experiments provide evidence that priming with synthetic faces is able to enhance performance because it reduces the negative effects of biases present in real-world training data. The proposed synthetic face image generator, as well as the software used for our experiments, have been made publicly available.

연구 동기 및 목표

• 얼굴 분석을 위한 딥 네ural 네트워크가 대규모 주석이 달린 실재 데이터셋에 크게 의존하는 문제를 해결하기 위해.
• 편향되거나 제한된 실재 훈련 데이터로 인한 데이터셋 효율성과 일반화 능력의 한계를 극복하기 위해.
• 합성 데이터가 얼굴 인식 및 얼굴 특징점 검출 성능 향상에 효과적인 사전 훈련 신호로 기능할 수 있는지 탐색하기 위해.
• 실재 데이터셋에 존재하는 편향의 부정적 영향을 합성 데이터 프리밍이 줄일 수 있는지 조사하기 위해.
• 딥 네트워크를 사전 훈련하기 위해 다양한, 완전히 주석이 달린 합성 얼굴 이미지를 제어 가능하고 확장 가능한 방식으로 생성하는 방법을 제시하기 위해.

제안 방법

• 3D 형태의 얼굴 모델을 사용해 얼굴의 형태, 색상, 자세, 조명, 배경 등을 제어할 수 있는 완전히 주석이 달린 합성 얼굴 이미지를 생성한다.
• 실제 벤치마크 데이터셋으로의 피니튜닝 이전에 대규모 합성 얼굴 데이터셋으로 딥 네ural 네트워크를 사전 훈련한다.
• 실재 세계의 분포 변화를 시뮬레이션하기 위해 신원 다양성, 자세 변화, 조명 조건 등의 데이터 특성을 제어한다.
• 얼굴 인식 및 얼굴 특징점 검출을 위한 표준 딥 러닝 아키텍처를 사용하며, 합성 데이터 사전 훈련 후 피니튜닝을 수행한다.
• 이미지넷 가중치를 사용한 데이터 증강 및 전이 학습과 같은 기준 방법들과 성능을 비교한다.
• 두 작업 모두에 대해 여러 벤치마크 데이터셋에서 일반화 능력과 데이터셋 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 합성 얼굴 이미지로 사전 훈련하면, 다양한 벤치마크 데이터셋에서 얼굴 분석의 딥 네ural 네트워크 일반화 성능이 향상되는가?
• RQ2 합성 데이터 프리밍은 얼굴 인식 및 얼굴 특징점 검출에서 경쟁적인 성능을 달성하기 위해 필요한 실재 데이터의 양을 어느 정도 줄일 수 있는가?
• RQ3 합성 데이터 프리밍은 전통적인 데이터 증강 및 전이 학습 기법과 비교해 모델 성능 향상에 어떻게 기여하는가?
• RQ4 합성 얼굴로 프리밍하면 실재 훈련 데이터셋에 존재하는 편향의 부정적 영향을 완화하는가?
• RQ5 합성 데이터에서 제어 가능한 데이터 변동성(예: 자세, 조명)이 최종 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 합성 얼굴 이미지로 딥 네ural 네트워크를 프리밍하면, 얼굴 인식 및 얼굴 특징점 검출 모두에서 모든 벤치마크 데이터셋에서 일반화 성능이 일관되게 향상된다.
• 합성 사전 훈련을 사용할 경우, 얼굴 인식의 경우 실재 데이터 요구량이 75% 감소하고, 특징점 검출의 경우 50% 감소한다.
• 합성 데이터 프리밍은 두 작업 모두에서 데이터 증강 및 전이 학습 기법을 능가하는 성능 향상을 달성한다.
• 합성 프리밍에서 얻는 성능 향상 요인은 실재 훈련 데이터에 존재하는 편향의 부정적 영향 감소에 기인한다.
• 제안된 합성 얼굴 생성기 및 실험용 소프트웨어는 재현 가능성과 향후 연구를 지원하기 위해 공개되었다.