[논문 리뷰] Recent Progress of Face Image Synthesis

Zhihe Lu, Zhihang Li외 3명|arXiv (Cornell University)|2017. 06. 15.

Face recognition and analysis참고 문헌 31인용 수 12

한 줄 요약

이 논문은 전통적 접근법과 딥러닝 기술—특히 생성적 적대적 네트워크(GANs)—에 중점을 두어 얼굴 이미지 합성 방법에 대한 종합적인 리뷰를 제공한다. 이는 사진처럼 사실적인, 신원을 유지하는 얼굴 생성을 가능하게 했다. 주요 기여는 최신 GAN 기반 방법을 통합적으로 분석하고, 공개 데이터베이스와 평가 지표를 통해 평가하며,未해결 과제를 규명하여 향후 연구를 위한 방향을 제시하는 데 있다.

ABSTRACT

Face synthesis has been a fascinating yet challenging problem in computer vision and machine learning. Its main research effort is to design algorithms to generate photo-realistic face images via given semantic domain. It has been a crucial prepossessing step of main-stream face recognition approaches and an excellent test of AI ability to use complicated probability distributions. In this paper, we provide a comprehensive review of typical face synthesis works that involve traditional methods as well as advanced deep learning approaches. Particularly, Generative Adversarial Net (GAN) is highlighted to generate photo-realistic and identity preserving results. Furthermore, the public available databases and evaluation metrics are introduced in details. We end the review with discussing unsolved difficulties and promising directions for future research.

연구 동기 및 목표

• 전통적 및 딥러닝 기반 얼굴 합성 방법에 대한 체계적인 리뷰를 제공하기 위해.
• 생성적 적대적 네트워크(GANs)가 사진처럼 사실적이고 신원을 유지하는 얼굴 생성에 어떻게 기여하는지 강조하기 위해.
• 얼굴 합성 연구에서 사용되는 공개된 얼굴 데이터베이스 및 평가 지표를 요약하기 위해.
• 현재 해결되지 않은 과제를 규명하고, 얼굴 합성 분야의 미래 연구 방향을 제안하기 위해.

제안 방법

• 하위공간 표현, 기하 모델링, 통계 모델로 나누어 전통적 얼굴 합성 방법을 분류하기 위해.
• 엔드 투 엔드 얼굴 이미지 생성을 위한 딥러닝 기반 접근법, 특히 GAN 변종을 조사하기 위해.
• 고해상도, 다양한, 신원 일관성을 유지하는 얼굴 이미지를 생성하는 GAN 기반 모델을 분석하기 위해.
• 인ception 스코어 및 픽셀 수준 오차와 같은 자동 평가 지표와 함께 인간 평가를 통한 시각적 평가를 통해 합성 품질을 평가하기 위해.
• 광학적 및 기하학적 오차를 측정하기 위해 RMSE를 적용하고, 얼굴 마스크 겹침 정도를 평가하기 위해 IoU를 사용하기 위해.
• 얼굴 인식 정확도와 같은 후행 작업 성능을 통해 합성 품질을 간접적으로 평가하기 위해.

실험 결과

연구 질문

• RQ1 하위공간 학습, 기하 모델링, 통계 모델 기반 전통적 얼굴 합성 방법의 성능 및 일반화 능력은 어떻게 비교되는가?
• RQ2 GAN 기반 딥러닝 모델은 얼마나 사진처럼 사실적이고 신원을 유지하는 얼굴 이미지를 생성할 수 있는가?
• RQ3 합성된 얼굴 이미지의 품질을 평가하는 데 가장 효과적인 평가 지표는 무엇인가?
• RQ4 현재 얼굴 합성 데이터베이스와 평가 프로토콜의 주요 제한 사항은 무엇인가?
• RQ5 고해상도, 다중 모odal, 일치하지 않는 데이터 기반 얼굴 합성에서의 현재 과제를 극복할 수 있는 미래 연구 방향은 무엇인가?

주요 결과

• GAN 기반 모델은 신원 유지 능력이 뛰어난 사진처럼 사실적인 결과를 달성함으로써 얼굴 합성 분야를 크게 발전시켰다.
• 인ception 스코어와 픽셀 수준 오차(RMSE 등)를 통한 평가는 객관적이고 자동화된 평가를 제공하지만, 인간 평가가 여전히 기준으로 남아 있다.
• 3D 모러포틱 모델 및 기하 기반 방법은 희소 입력에서 얼굴 구조를 모델링하는 데 있어 여전히 관련성이 있다.
• 고해상도 얼굴 합성은 학습 불안정성과 높은 계산 자원 요구로 인해 여전히 주요 미해결 과제이다.
• 다중 모달 합성(예: 가시광선에서 근적외선) 및 일치하지 않는 데이터 학습은 유망하지만 아직 개발이 부족한 분야이다.
• 기존 데이터베이스는 특히 실외 환경 및 다중 자세 시나리오에서 규모와 다양성이 부족하여 더 크고 대표성이 높은 데이터셋이 필요함을 시사한다.