[논문 리뷰] Composition-Aided Face Photo-Sketch Synthesis

Jun Yu, Shengjie Shi외 3명|arXiv (Cornell University)|2017. 12. 04.

Face recognition and analysis인용 수 7

한 줄 요약

이 논문은 얼굴 키포인트 레이블과 구성 복원 손실을 활용하여 구조적 현실감과 정체성 유지 능력을 향상시키기 위해 구성 보조 생성 적대적 네트워크(CA-GAN)를 제안한다. 이 방법은 기존 작업 대비 큰 폭으로 FID를 감소시켜 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Face photo-sketch synthesis aims at generating a facial sketch/photo conditioned on a given photo/sketch. It is of wide applications including digital entertainment and law enforcement. Precisely depicting face photos/sketches remains challenging due to the restrictions on structural realism and textural consistency. While existing methods achieve compelling results, they mostly yield blurred effects and great deformation over various facial components, leading to the unrealistic feeling of synthesized images. To tackle this challenge, in this work, we propose to use the facial composition information to help the synthesis of face sketch/photo. Specially, we propose a novel composition-aided generative adversarial network (CA-GAN) for face photo-sketch synthesis. In CA-GAN, we utilize paired inputs including a face photo/sketch and the corresponding pixel-wise face labels for generating a sketch/photo. In addition, to focus training on hard-generated components and delicate facial structures, we propose a compositional reconstruction loss. Finally, we use stacked CA-GANs (SCA-GAN) to further rectify defects and add compelling details. Experimental results show that our method is capable of generating both visually comfortable and identity-preserving face sketches/photos over a wide range of challenging data. Our method achieves the state-of-the-art quality, reducing best previous Frechet Inception distance (FID) by a large margin. Besides, we demonstrate that the proposed method is of considerable generalization ability. We have made our code and results publicly available: this https URL.

연구 동기 및 목표

• 기존 얼굴 사진-스케치 합성 방법에서의 구조적 왜곡과 흐림 문제를 해결한다.
• 합성된 스케치와 사진에서 정체성 유지 및 질감 일관성을 향상시킨다.
• 얼굴 구성 정보(예: 키포인트 레이블 등)를 활용하여 생성 과정을 안내한다.
• 어려운 얼굴 구성 요소와 세밀한 디테일에 중점을 둔 학습 전략을 개발한다.
• 다양하고 도전적인 데이터에 대해 강력한 일반화 능력을 갖춘 최신 기술 수준의 성능을 달성한다.

제안 방법

• 얼굴 사진/스케치와 해당 픽셀 단위의 얼굴 레이블 맵을 쌍으로 입력으로 사용하는 새로운 CA-GAN 프레임워크를 도입한다.
• 어려운 얼굴 구성 요소와 섬세한 구조의 정확한 생성을 강조하기 위해 구성 복원 손실을 설계한다.
• 스택형 CA-GAN(SA-GAN)을 활용해 이미지를 반복적으로 정밀화하고 세밀한 디테일을 추가한다.
• 시각적 현실감을 향상시키면서도 정체성을 유지하기 위해 GAN 기반의 적대적 손실을 사용해 모델을 학습시킨다.
• 합성 과정 중 공간 정렬과 구조적 정확성을 향상시키기 위해 얼굴 키포인트 기반의 감독을 통합한다.
• 적대적, 인지적, 구성 복원 손실의 조합을 최적화하여 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 얼굴 구성 정보의 통합이 얼굴 사진-스케치 합성에서 현실감과 정체성 유지 능력 향상에 상당한 영향을 미치는가?
• RQ2 구성 복원 손실이 세밀한 얼굴 디테일의 생성을 향상시키고 구조적 왜곡을 줄이는가?
• RQ3 스택형 CA-GAN은 계층적으로 결함을 효과적으로 수정하고 시각적 품질을 향상시키는가?
• RQ4 기존 최신 기술 수준의 접근 방식과 비교해 제안된 방법은 다양한 도전적인 얼굴 이미지에 대해 얼마나 잘 일반화되는가?
• RQ5 추가 애너테이션 없이 픽셀 단위의 얼굴 레이블 사용이 합성 품질 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 CA-GAN 방법은 얼굴 사진-스케치 합성 분야에서 최신 기술 수준의 성능을 달성하여 이전 방법들을 크게 앞서간다.
• 기존 최고의 접근 방식 대비 Frechet Inception Distance(FID)를 크게 감소시킨다.
• 합성된 스케치와 사진은 높은 시각적 쾌적함을 보이며, 구조적 현실감이 향상되고 흐림 현상이 감소한다.
• 자세 변화나 저품질 입력과 같은 도전적인 조건에서도 정체성을 효과적으로 유지한다.
• 스택형 CA-GAN(SCA-GAN) 아키텍처는 계층적 정밀화 과정을 통해 결함을 성공적으로 수정하고 매력적인 세밀한 디테일을 추가한다.
• 모델은 다양한 데이터셋과 도전적인 얼굴 구성에 대해 상당한 일반화 능력을 보여준다.