[논문 리뷰] Do Inpainting Yourself: Generative Facial Inpainting Guided by Exemplars

Wanglong Lu, Hanli Zhao외 6명|arXiv (Cornell University)|2022. 02. 13.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 예시 이미지를 사용하여 현실적이고 고품질의 얼굴 속성 완성 작업을 유도하는 생성적 얼굴 인painting 프레임워크인 EXE-GAN을 제안한다. 새로운 속성 유사도 측정 기준과 공간에 따라 변하는 기울기 역전파를 통해 전반적인 이미지 스타일, 확률적 잠재 코드, 예시 기반 속성 스타일을 융합함으로써 자연스러운 전환과 정확한 속성 전달이 가능해졌으며, CelebA-HQ 및 FFHQ 데이터셋에서 최신 기술들을 능가하는 성능을 보였다.

ABSTRACT

We present EXE-GAN, a novel exemplar-guided facial inpainting framework using generative adversarial networks. Our approach can not only preserve the quality of the input facial image but also complete the image with exemplar-like facial attributes. We achieve this by simultaneously leveraging the global style of the input image, the stochastic style generated from the random latent code, and the exemplar style of exemplar image. We introduce a novel attribute similarity metric to encourage networks to learn the style of facial attributes from the exemplar in a self-supervised way. To guarantee the natural transition across the boundaries of inpainted regions, we introduce a novel spatial variant gradient backpropagation technique to adjust the loss gradients based on the spatial location. Extensive evaluations and practical applications on public CelebA-HQ and FFHQ datasets validate the superiority of EXE-GAN in terms of the visual quality in facial inpainting.

연구 동기 및 목표

• 사용자 지시에 따라 예시 이미지를 활용한 현실적인 얼굴 인painting 문제를 해결하기 위해.
• 결손 영역을 예시 유사 속성으로 채우면서도 입력 얼굴 이미지의 정체성과 전반적인 일관성을 유지하기 위해.
• 인페인팅 경계에서 시각적 전이가 자연스럽게 이루어지도록 하여 잡음이나 일관성 없는 요소를 방지하기 위해.
• 헤어스타일 편집, 속성 전달, 가림된 얼굴 복구와 같은 상호작용이 가능한 애플리케이션 준비형 얼굴 편집을 가능하게 하기 위해.
• 자기 지도적 속성 유사도 측정 기준과 공간에 따라 변하는 기울기 역전파 기법을 도입하여 학습 안정성과 현실감을 향상시키기 위해.

제안 방법

• EXE-GAN은 입력 이미지의 전반적 스타일, 임의의 잠재 코드에서 유도된 확률적 스타일, 그리고 참조 이미지에서 유도된 예시 기반 스타일을 융합하는 다중 스타일 생성기를 사용한다.
• 스타일 인코더가 예시 이미지에서 잠재 표현을 추출하며, 이를 입력 이미지의 전반적 스타일과 확률적 코드와 함께 스타일 믹싱을 통해 통합한다.
• 명시적 레이블이 필요 없이도 예시에서 얼굴 속성 스타일을 자율 지도 학습할 수 있도록 새로운 속성 유사도 측정 기준을 도입한다.
• 공간에 따라 변하는 기울기 역전파 레이어(SVGL)를 설계하여 기울기 흐름을 공간적 위치에 따라 조정함으로써 학습 중 경계 부근의 잡음을 줄인다.
• 비대칭 손실, 인지적 LPIPS 손실, 정체성 손실, 속성별 손실을 통합한 학습 목표를 통해 시각적 정확도와 속성 일관성을 확보한다.
• 스토케스티시티를 활용하여 다양한 추론을 지원하며, 동일한 마스크 처리된 입력과 예시로부터 다수의 타당한 출력 결과를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 생성적 얼굴 인painting 모델은 자율 지도 학습 방식으로 예시 이미지에서 얼굴 속성 스타일을 효과적으로 학습하고 전달할 수 있는가?
• RQ2 높은 시각적 현실감을 유지하면서도 얼굴 인painting에서 경계 잡음 문제를 어떻게 최소화할 수 있는가?
• RQ3 속성 전달 과정에서 입력 이미지의 정체성과 전반적 구조를 어느 정도 유지할 수 있는가?
• RQ4 스케치 기반 헤어스타일 편집이나 유도된 스타일 믹싱과 같은 상호작용이 가능한 사용자 지도 편집을 프레임워크가 지원할 수 있는가?
• RQ5 기준 데이터셋에서 최신 기술 대비 시각적 품질과 속성 충실도 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• qualitative 및 quantitative 평가를 통해 CelebA-HQ 및 FFHQ 데이터셋에서 최신 기술 대비 EXE-GAN이 더 뛰어난 시각적 품질을 확보하였다.
• 제안된 속성 유사도 측정 기준은 인간 레이블이 없는 조건에서도 예시에서 얼굴 속성 스타일을 효과적으로 자율 지도 학습할 수 있도록 하여 속성 전달 정확도를 향상시켰다.
• 공간에 따라 변하는 기울기 역전파 기법은 마스크 경계 부근의 시각적 잡음을 크게 감소시켜 더 자연스럽고 매끄러운 인페인팅 결과를 도출하였다.
• 프레임워크는 특정 기능인 눈, 입, 머리카락 등을 예시 지시에 따라 국소적으로 속성 전달이 가능하게 하여 사용자가 편집할 수 있도록 했다.
• 마스크나 선글라스 등 복잡한 가림이 있는 경우에도 이전 방법들, 특히 Lyu 등이 제안한 안경 제거 기법보다도 우수한 성능을 보였으며, 가려진 얼굴 복구에 효과적이다.
• 잠재 노이즈와 트렁케이션을 활용하여 동일한 입력에서 다양한 스토케스틱 출력 결과를 생성할 수 있어 사용자가 선호하는 결과를 선택할 수 있도록 지원한다.