[논문 리뷰] Can Synthetic Faces Undo the Damage of Dataset Bias to Face Recognition and Facial Landmark Detection?

Adam Kortylewski, Bernhard Egger외 6명|arXiv (Cornell University)|2018. 11. 19.

Face recognition and analysis참고 문헌 62인용 수 11

한 줄 요약

이 논문은 3D 모러포메트릭 얼굴 모델(3DMM)에서 생성된 합성 얼굴 이미지를 사용하여 얼굴 인식 및 얼굴 랜드마크 검출에서 데이터셋 편향을 줄이기 위한 방법을 제안한다. 실세계 데이터로의 피지컬 튜닝 이전에 다양한 제어 가능한 합성 데이터로 딥 네트워크를 사전 훈련함으로써 일반화 능력이 향상되고, 실세계 훈련 데이터의 필요량이 최대 75% 감소하며, 데이터 증강 및 전이 학습보다 우수한 성능을 기록한다.

ABSTRACT

It is well known that deep learning approaches to face recognition and facial landmark detection suffer from biases in modern training datasets. In this work, we propose to use synthetic face images to reduce the negative effects of dataset biases on these tasks. Using a 3D morphable face model, we generate large amounts of synthetic face images with full control over facial shape and color, pose, illumination, and background. With a series of experiments, we extensively test the effects of priming deep nets by pre-training them with synthetic faces. We observe the following positive effects for face recognition and facial landmark detection tasks: 1) Priming with synthetic face images improves the performance consistently across all benchmarks because it reduces the negative effects of biases in the training data. 2) Traditional approaches for reducing the damage of dataset bias, such as data augmentation and transfer learning, are less effective than training with synthetic faces. 3) Using synthetic data, we can reduce the size of real-world datasets by 75% for face recognition and by 50% for facial landmark detection while maintaining performance. Thus, offering a means to focus the data collection process on less but higher quality data.

연구 동기 및 목표

• 다양한 신원, 자세, 조명 조건에서의 일반화 능력이 제한되는 얼굴 인식 및 얼굴 랜드마크 검출에서 지속적인 데이터셋 편향 문제를 해결하기 위함이다.
• 실세계 데이터셋이 편향되어 있고 대규모일 경우 합성 얼굴 데이터가 모델 성능 향상에 기여할 수 있는지 조사하기 위함이다.
• 대규모 실세계 데이터셋에 의존하는 것의 정도를 줄이면서도 성능을 유지하거나 향상시킬 수 있는가를 평가하기 위함이다.
• 기존 기법인 데이터 증강 및 일반 분류 작업에서의 전이 학습과 비교하여 합성 데이터 사전 훈련의 효과성을 평가하기 위함이다.
• 피지컬 튜닝 과정에서 유용한 지식을 유지하여 치명적인 잊음(catastrophic forgetting)을 방지할 수 있는지 입증하기 위함이다.

제안 방법

• 합성 얼굴 이미지는 3D 모러포메트릭 얼굴 모델(3DMM)을 사용하여 생성되며, 얼굴 형상, 색상, 자세, 조명 및 배경을 완전히 제어할 수 있다.
• 합성 데이터셋은 실세계 데이터에서 주석 처리가 어려운 핵심 속성인 머리 자세, 얼굴 신원, 표정 등에 대해 다양하고 편향되지 않은 방식으로 설계된다.
• 딥 네트워크는 합성 데이터로 사전 훈련된 후, 다양한 양의 실세계 훈련 데이터로 피지컬 튜닝된다.
• 일반화 능력과 데이터 효율성을 평가하기 위해 얼굴 인식 및 얼굴 랜드마크 검출의 여러 벤치마크에서 성능을 평가한다.
• 기본 방법으로는 무작위 초기화, 데이터 증강(거꾸로 뒤집기 및 회전), ImageNet에서의 전이 학습을 포함한 방법들과 비교한다.
• 실세계 데이터의 양을 체계적으로 변화시켜 피지컬 튜닝에 사용함으로써 데이터 효율성 향상을 측정한다.

실험 결과

연구 질문

• RQ1 합성 얼굴 이미지로 사전 훈련하는 것이 얼굴 인식 및 얼굴 랜드마크 검출에서 데이터셋 편향의 악영향을 줄일 수 있는가?
• RQ2 데이터 증강 및 일반 분류 작업에서의 전이 학습과 비교해 합성 데이터 사전 훈련의 효과성은 어떠한가?
• RQ3 합성 데이터로 사전 훈련을 한 후 실세계 훈련 데이터의 양을 얼마나 줄일 수 있으며, 성능 저하 없이 유지할 수 있는가?
• RQ4 대규모 실세계 데이터셋으로 피지컬 튜닝을 한 후 합성 데이터에서 학습한 지식이 치명적인 잊음 현상에 노출되는가?
• RQ5 합성 데이터의 자세 및 신원 다양성이 벤치마크 데이터셋 전반에서 모델의 일반화 능력을 향상시키는가?

주요 결과

• 합성 얼굴로 사전 훈련한 결과, 얼굴 인식 및 얼굴 랜드마크 검출의 모든 벤치마크 데이터셋에서 일반화 성능이 일관되게 향상된다.
• 실세계 데이터가 제한적일 경우, 데이터 증강 및 ImageNet에서의 전이 학습보다 합성 데이터 사전 훈련이 더 뛰어난 성능 향상을 기록한다.
• 합성 데이터로 사전 훈련한 얼굴 인식 모델은 원래 실세계 훈련 데이터의 25%만으로도 경쟁 가능한 성능을 달성하여 실세계 데이터 필요량이 75% 감소함을 의미한다.
• 합성 데이터로 사전 훈련한 얼굴 랜드마크 검출 모델은 원래 실세계 훈련 데이터의 50%만으로도 성능을 유지하며, 이는 데이터 필요량이 50% 감소한 것을 의미한다.
• 대규모 실세계 데이터셋으로 피지컬 튜닝 후 치명적인 잊음 현상이 관찰되지 않아, 합성 데이터에서 학습한 지식이 유지됨을 확인하였다.
• 성능 향상의 주요 원인은 실세계 데이터셋에 존재하는 편향을 완화시키기 위해 합성 데이터에서의 머리 자세와 얼굴 신원의 변동성이 증가했기 때문이다.