[논문 리뷰] Improving Face Detection Performance with 3D-Rendered Synthetic Data

Jian Han, Sezer Karaoğlu외 2명|arXiv (Cornell University)|2018. 12. 18.

Face recognition and analysis참고 문헌 44인용 수 3

한 줄 요약

이 논문은 3DU-Face 데이터셋을 활용하여 스케일, 자세, 가림, 흐림, 조명 등의 변형을 체계적으로 제어할 수 있는 3D 렌더링 합성 데이터 생성 프레임워크를 제안한다. 이는 얼굴 검출 성능 향상에 기여한다. 실재 데이터셋을 합성적으로 생성된 완전한 애너테이션을 가진 이미지로 증강함으로써, Wider Face, MAFA, UFDD 등의 벤치마크에서 여러 얼굴 검출기(Faster R-CNN, SSH, HR)의 성능이 크게 향상되며, 극단적인 변형을 다룰 때 특히 효과적이다.

ABSTRACT

In this paper, we provide a synthetic data generator methodology with fully controlled, multifaceted variations based on a new 3D face dataset (3DU-Face). We customized synthetic datasets to address specific types of variations (scale, pose, occlusion, blur, etc.), and systematically investigate the influence of different variations on face detection performances. We examine whether and how these factors contribute to better face detection performances. We validate our synthetic data augmentation for different face detectors (Faster RCNN, SSH and HR) on various face datasets (MAFA, UFDD and Wider Face).

연구 동기 및 목표

• 극단적인 이미징 조건(예: 극단적 스케일, 중증 가림, 흐림)에서 사용 가능한 다양하고 완전한 애너테이션을 가진 학습 데이터의 부족을 해결한다.
• 실제 데이터셋의 한계를 극복한다. 실재 데이터셋은 극단적 변형이 흔치 않으며 애너테이션 오류가 발생하기 쉬운 편이다.
• 3D 공간에서 이미징 요소의 체계적이고 제어 가능한 변형을 가능하게 하는 합성 데이터 생성 파이프라인을 개발한다. 이는 검출기의 일반화 능력을 향상시키기 위함이다.
• 여러 최신 기술의 얼굴 검출기와 벤치마크 데이터셋에서 합성 데이터 증강의 효과를 검증한다.

제안 방법

• 시야각, 스케일, 조명, 가림, 배경 등에 대해 제어 가능한 변형을 가진 새로운 3D 얼굴 데이터셋(3DU-Face)을 사용하여 합성 얼굴 이미지를 생성한다.
• 3D 얼굴 모델을 조작하여 극단적인 조건(예: 큰 스케일 차이, 중증 가림, 운동 흐림)을 시뮬레이션하는 합성 데이터를 렌더링한다.
• 모든 합성 이미지에 대해 자동으로 정확하고 오류 없는 바운딩 박스 애너테이션을 생성하여 인간 애너테이션 오류를 제거한다.
• 실제 데이터셋과 합성 데이터셋을 결합하여 얼굴 검출기(Faster R-CNN, SSH, HR)를 훈련하고 평가하여 성능 향상을 분석한다.
• 특정 변형(예: 스케일, 자세, 가림)의 영향을 체계적으로 평가하기 위해 전용 합성 서브셋을 생성한다.
• 표준 벤치마크(Wider Face, MAFA, UFDD)를 사용하여 합성 데이터 증강 이전과 이후의 검출 성능을 비교한다.

실험 결과

연구 질문

• RQ1 Wider Face, MAFA, UFDD와 같은 다양한 벤치마크에서 합성 데이터 증강이 얼굴 검출 성능에 얼마나 기여하는가?
• RQ2 스케일, 자세, 가림, 흐림과 같은 특정 변형이 합성 데이터에서 체계적으로 제어될 때, 다양한 얼굴 검출기의 성능에 어떤 영향을 미치는가?
• RQ3 완전히 제어되고 오류 없는 애너테이션을 가진 합성 데이터가 실재 데이터셋을 능가하여 강건한 얼굴 검출기를 훈련시키는 데 효과적인가?
• RQ4 왜 일부 검출기(예: SSH)는 합성 데이터 증강에도 불구하고 성능 향상이 미미하고, 일부 벤치마크에서는 Faster R-CNN보다 성능이 열 劣하는가?
• RQ5 검출 결과에서 주요 오진 양성 결과의 원인은 무엇이며, 실재 데이터와 합성 데이터 간에 이는 어떻게 다를까?

주요 결과

• 합성 데이터 증강은 Wider Face와 MAFA의 어려운 레벨 예제에서 Faster R-CNN의 성능을 크게 향상시킨다.
• 얼굴 최적화된 검출기인 SSH는 합성 데이터 증강으로부터 성능 향상이 제한적이며, 일부 벤치마크에서는 Faster R-CNN보다 성능이 열 劣하는 경향을 보이며, 일반화를 위한 설계의 상충관계를 시사한다.
• 이미 스케일과 흐림에 강건한 HR도 합성 데이터 증강으로부터 이점을 얻지만, 작은 원형 물체에 민감하여 높은 오진 양성률을 보인다.
• Faster R-CNN의 성능은 합성 데이터 증강으로 크게 향상되며, 특히 스케일과 가림 변형($r+s_1$, $r+s_2$)이 포함된 경우에 두드러진다. 반면 노이즈가 많은 합성 데이터($s_3$)는 성능 저하를 초래한다.
• 오진 양성 결과의 주요 원인은 데이터셋 간 일관성 없는 애너테이션 관행(예: 전체 얼굴 대비 부분 가림)과 합성 데이터에 존재하지 않는 실제 세계의 물체(예: 신체 부위, 액세서리)에 의해 오해를 일으키는 것이다.
• 합성 데이터는 애너테이션 오류를 효과적으로 줄이고 대규모로 제어 가능한 데이터 생성이 가능하여, 얼굴 검출을 위한 보완 학습 자원으로서 강력한 잠재력을 보여준다.