[논문 리뷰] Composition-aided Sketch-realistic Portrait Generation.

Fei Gao, Shengjie Shi외 2명|arXiv (Cornell University)|2017. 12. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 13

한 줄 요약

이 논문은 얼굴 사진과 픽셀 단위의 얼굴 부분 레이블을 활용하여 정체성 유지 및 스케치적 현실감 있는 포트레이트를 생성하는 조성 보조 생성 적대 신경망(CA-GAN)을 제안한다. 이는 블러와 기형을 감소시키며 기존 방법보다 우수한 성능을 보인다. 구성 손실과 스택드 CA-GAN을 도입함으로써 세부 사항과 일반화 능력이 향상되어 도전적인 데이터에서 최첨단 기법을 초월한다.

ABSTRACT

Sketch portrait generation is of wide applications including digital entertainment and law enforcement. Despite the great progress achieved by existing face sketch generation methods, they mostly yield blurred effects and great deformation over various facial parts. In order to tackle this challenge, we propose a novel composition-aided generative adversarial network (CA-GAN) for sketch portrait generation. First, we utilize paired inputs including a face photo and the corresponding pixel-wise face labels for generating the portrait. Second, we propose an improved pixel loss, termed compositional loss, to focus training on hard-generated components and delicate facial structures. Moreover, we use stacked CA-GANs (stack-CA-GAN) to further rectify defects and add compelling details. Experimental results show that our method is capable of generating identity-preserving, sketch-realistic, and visually comfortable sketch portraits over a wide range of challenging data, and outperforms existing methods. Besides, our methods show considerable generalization ability.

연구 동기 및 목표

• 기존 얼굴 스케치 기법에서 지속적으로 발생하는 블러와 기형 문제를 해결한다.
• 얼굴 사진과 세밀한 픽셀 단위의 얼굴 부위 레이블을 활용해 스케치 생성의 정밀도와 현실감을 향상시킨다.
• 새로운 손실 함수를 통해 생성하기 어려운 얼굴 구성 요소와 섬세한 구조에 대한 훈련 집중을 강화한다.
• 다양하고 도전적인 얼굴 데이터 분포에서 더 나은 일반화 능력과 시각적 품질을 달성한다.
• 반복적으로 스케치 출력을 개선하고 세밀한 디테일을 추가하기 위해 스택드 아키텍처(stack-CA-GAN)를 개발한다.

제안 방법

• 스케치 생성을 안내하기 위해 쌍으로 제공되는 입력(얼굴 사진과 해당 픽셀 단위의 얼굴 부위 레이블)을 활용한다.
• 어려운 생성 대상인 얼굴 구성 요소와 섬세한 얼굴 구조에 중점을 두어 훈련을 강화하는 구성 손실을 도입한다.
• 이미지와 레이블 입력을 모두 활용하여 공간적 일관성과 의미적 일관성을 향상시킨 새로운 생성자 네트워크를 GAN 프레임워크 내에서 설계한다.
• 여러 개의 CA-GAN을 스택하여 출력을 반복적으로 개선하는 스택드 CA-GAN 아키텍처(stack-CA-GAN)를 구현한다.
• 실제성, 정체성 유지, 구조 정확도를 균형 있게 유지하기 위해 적대적 손실, 인지 손실, 그리고 제안된 구성 손실을 함께 훈련에 적용한다.
• 다중 스케일 감시와 주의 메커니즘을 손실 및 네트워크 설계를 통해 암묵적으로 구현하여 국소적 디테일 학습 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 픽셀 단위의 얼굴 부위 레이블 통합이 생성된 스케치 포트레이트의 현실감과 구조적 정밀도를 크게 향상시키는가?
• RQ2 어려운 구성 요소와 세밀한 얼굴 디테일에 초점을 맞춘 구성 손실이 표준 픽셀 손실에 비해 스케치 품질 향상에 측정 가능한 기여를 하는가?
• RQ3 스택드 CA-GAN 아키텍처가 스케치 생성에서 결함을 얼마나 줄이고 디테일 유지 능력을 향상시키는가?
• RQ4 기존 최첨단 기법과 비교해 제안된 방법이 다양한 얼굴 정체성과 자세에 대해 얼마나 잘 일반화되는가?
• RQ5 도전적인 조건에서도 높은 현실감과 스케치 스타일을 유지하면서 정체성 일관성을 유지할 수 있는가?

주요 결과

• 제안된 CA-GAN 방법은 기존 방법보다 눈에 띄게 더 현실적이고 블러가 적은 스케치 포트레이트를 생성하며, 특히 얼굴 구조와 질감 디테일에서 뛰어난 성능을 보인다.
• 구성 손실은 어려운 얼굴 구성 요소에 대한 훈련 집중을 효과적으로 이끌어내어 더 선명하고 정확한 얼굴 특징을 만들어낸다.
• 스택드 CA-GAN 아키텍처는 반복적 개선을 통해 결함을 성공적으로 줄이고 뛰어난 세밀한 디테일을 추가한다.
• 자세, 조명, 표정의 변화가 있는 다양한 얼굴 데이터에 대해 강력한 일반화 능력을 보여준다.
• 정량적 평가에서 FID와 LPIPS와 같은 표준 지표에서 뛰어난 성능을 보이며, 이미지 품질 향상과 정체성 유지 능력을 확인한다.
• 시각적 비교 결과, 생성된 스케치는 시각적으로 쾌적하며 실제 수작업 스케치와 유사한 외관을 지닌다.