[논문 리뷰] Barbershop: GAN-based Image Compositing using Segmentation Masks

Peihao Zhu, Rameen Abdal외 2명|arXiv (Cornell University)|2021. 06. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 12

한 줄 요약

Barbershop는 W+ 스타일 코드와 구조 텐서를 조합한 새로운 잠재공간을 사용하여 고해상도이자 전역적으로 일관된 헤어스타일 이식을 가능하게 하는 GAN 기반 이미지 복합 프레임워크를 제안한다. 참조 이미지를 동일한 세그멘테이션 마스크에 정렬하고 이 개선된 잠재공간에 임bedding함으로써, 기존 SOTA 방법 대비 95%의 사용자 선호도를 기록하며 잡음과 세부 묘사(주름, 잔주름 등)를 최소화한 뛰어난 블렌딩 품질을 달성한다.

ABSTRACT

Seamlessly blending features from multiple images is extremely challenging because of complex relationships in lighting, geometry, and partial occlusion which cause coupling between different parts of the image. Even though recent work on GANs enables synthesis of realistic hair or faces, it remains difficult to combine them into a single, coherent, and plausible image rather than a disjointed set of image patches. We present a novel solution to image blending, particularly for the problem of hairstyle transfer, based on GAN-inversion. We propose a novel latent space for image blending which is better at preserving detail and encoding spatial information, and propose a new GAN-embedding algorithm which is able to slightly modify images to conform to a common segmentation mask. Our novel representation enables the transfer of the visual properties from multiple reference images including specific details such as moles and wrinkles, and because we do image blending in a latent-space we are able to synthesize images that are coherent. Our approach avoids blending artifacts present in other approaches and finds a globally consistent image. Our results demonstrate a significant improvement over the current state of the art in a user study, with users preferring our blending solution over 95 percent of the time.

연구 동기 및 목표

• 조명, 기하학, 가림을 포함한 상호의존성이 강한 이미지 영역 간의 자연스러운 이미지 복합화 문제를 해결한다. 특히 헤어스타일 이식에 초점을 맞춘다.
• 기존 GAN 기반 편집 방법이 소스 영역과 타겟 영역 간의 의미적 불일치로 인해 분리되거나 일관성 없는 결과를 낳는 한계를 극복한다.
• 공간적 구조와 세부 묶음을 유지하면서도 다수의 이미지 소스 간에 일관된 블렌딩을 가능하게 하는 잠재공간 표현 방식을 개발한다.
• 사용자가 여러 참조 자료로부터 외관(예: 헤어 컬러, 질감)과 구조적 특성(예: 헤어 모양, 자세)을 하나의 현실적인 복합 이미지로 이식할 수 있도록 한다.
• 조명, 그림자, 얼굴 기하학의 전역 일관성을 확보하여 자연스럽지 않은 경계나 이완화 문제와 같은 일반적인 잡음이 발생하지 않는 신뢰할 수 있는 복합 이미지를 생성한다.

제안 방법

• 표준 W+ 잠재코드와 학습된 구조 텐서를 조합한 새로운 잠재공간 $FS$를 도입하여 공간 인식 능력 향상과 세밀한 얼굴 묘사 유지에 기여한다.
• 이미지를 기준과 유사하게 유지하면서도 타겟 세그멘테이션 마스크에 맞게 약간 수정하여 의미적 일치를 확보하는 GAN-임bedding 알고리즘을 제안한다.
• 다양한 참조 이미지(예: 얼굴, 배경, 헤어)를 공유된 표현으로 $FS$ 잠재공간에 임베딩하여 정체성과 구조적 일관성을 유지한다.
• GAN의 생성 사전을 활용하여 $FS$ 공간에서 임베딩된 잠재코드를 블렌딩함으로써 일관되고 고해상도의 출력 이미지를 합성한다.
• 재구성 정확도, 정체성 유지, 마스크 준수를 균형 있게 조절하기 위해 인지적 손실과 L2 손실을 사용하는 손실 함수를 임베딩 단계에 적용한다.
• 고품질 합성과 콘텐츠 및 스타일 특성의 분리 유지 기능을 제공하는 StyleGAN-ADA를 기반 생성자로 활용한다.

실험 결과

연구 질문

• RQ1 수정된 잠재공간 표현 방식은 헤어와 같은 복잡한 특성에 대해 GAN 기반 이미지 복합화의 정확도와 공간 일관성 향상에 기여하는가?
• RQ2 세그멘테이션 마스크를 통한 의미적 일치는 제약 없이 블렌딩하는 것에 비해 블렌딩된 이미지 영역의 품질과 현실성에 어떤 영향을 미치는가?
• RQ3 GAN-임베딩 알고리즘이 새로운 세그멘테이션 마스크에 맞추면서도 세부 묶음을(예: 잔주름, 잔주름) 얼마나 잘 유지할 수 있는가?
• RQ4 공간 인식 잠재공간에서의 블렌딩은 자연스럽지 않은 경계, 조명 불일치, 이완화 문제와 같은 일반적인 잡음을 줄이는가?
• RQ5 실제 편집 작업에서 사용자 선호도와 인지적 품질 측면에서 기존 SOTA 방법과 비교해 볼 때 제안된 방법은 어떤가?

주요 결과

• 제안된 $FS$ 잠재공간은 표준 W+ 공간에 비해 세부 묶음 유지와 공간 일관성 향상에 뚜렷한 개선 효과를 보이며, 특히 얼굴 기능과 헤어 구조에 유의미한 영향을 미친다.
• GAN-임베딩 알고리즘은 기준 이미지를 타겟 세그멘테이션 마스크에 맞게 수정하면서도 높은 인지적 품질과 정체성 유지 능력을 확보했다.
• 통제된 사용자 연구에서 기존 SOTA 방법 대비 95%의 사용자 선호도를 기록하여 강력한 인지적 우월성을 입증했다.
• 의미적 및 구조적 일치를 강제함으로써 딱딱한 전환, 자연스럽지 않은 조명, 이완화 문제와 같은 블렌딩 잡음이 효과적으로 감소했다.
• 비중첩 마스크나 시점 불일치와 같은 복잡한 케이스를 기존 연구보다 더 잘 처리했지만, 극단적인 기하학적 왜곡에는 여전히 한계가 존재한다.
• 실패 사례로는 표현이 부족한 특징(예: 보석)의 재구성 실패와 얇고 반투명한 헤어 줄기 또는 마스크가 잘못 일치된 경우의 문제점이 나타나 향후 개선 여지가 있음을 시사한다.