[논문 리뷰] Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN

Badour AlBahar, Jingwan Lu외 4명|arXiv (Cornell University)|2021. 09. 13.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 조건부 StyleGAN2 생성자에서 공간적으로 변하는 조절 기법과 대칭 유도 상응 필드 보간 네트워크를 활용하여 단일 소스 이미지에서 세밀한 디테일을 유지하는 자세 유도 이미지 합성 방법을 제안한다. 3D 인지 기능 전달과 스타일 기반 생성을 결합함으로써 사진처럼 현실적인 자세 전환과 가상의 복장 착용을 달성하며, 잡음과 디테일 손실을 크게 줄였다.

ABSTRACT

We present an algorithm for re-rendering a person from a single image under arbitrary poses. Existing methods often have difficulties in hallucinating occluded contents photo-realistically while preserving the identity and fine details in the source image. We first learn to inpaint the correspondence field between the body surface texture and the source image with a human body symmetry prior. The inpainted correspondence field allows us to transfer/warp local features extracted from the source to the target view even under large pose changes. Directly mapping the warped local features to an RGB image using a simple CNN decoder often leads to visible artifacts. Thus, we extend the StyleGAN generator so that it takes pose as input (for controlling poses) and introduces a spatially varying modulation for the latent space using the warped local features (for controlling appearances). We show that our method compares favorably against the state-of-the-art algorithms in both quantitative evaluation and visual comparison.

연구 동기 및 목표

• 임의의 자세에서 단일 이미지 기반 인간 자세 전환 시 세밀한 정체성과 질감 디테일을 유지하는 데 도전하는 것.
• 기존 방법들이 가려진 영역을 잘못 추측하거나 옷차림 패턴과 얼굴 특징를 유지하지 못하는 한계를 극복하는 것.
• 3D 인지 기능 전달과 스타일 기반 생성을 결합한 제어 가능한 사진처럼 현실적인 이미지 합성 프레임워크를 개발하는 것.
• 소스 이미지의 옷을 새로운 자세로 전달하면서 외관 디테일을 유지함으로써 고해상도 가상의 복장 착용을 가능하게 하는 것.
• 자세 조건부 StyleGAN에 공간적으로 변하는 조절 기법을 도입하여 생성된 이미지의 잡음 요소를 줄이는 것.

제안 방법

• 대칭 유도 보간 네트워크는 3D 신체 표면과 소스 이미지 간의 상응 필드를 보완하여, 큰 자세 변화가 있을 때도 견고한 기능 전달을 가능하게 한다.
• 소스 이미지의 국소 외관 특징는 보완된 상응 필드를 사용해 타겟 자세로 왜곡되어 전달되며, 이로써 공간적 디테일이 유지된다.
• 자세 조건부 StyleGAN2 생성자는 공간적으로 변하는 조절 기법을 확장하여, 왜곡된 특징이 다중 레이어에서 잠재 공간을 조절함으로써 외관 제어를 가능하게 한다.
• 생성자는 타겟 자세와 왜곡된 국소 특징 양쪽에 조건을 두어 자세와 정체성 간의 분리 제어를 가능하게 한다.
• UV 공간 세그멘테이션 맵을 사용해 다수의 소스 이미지에서 기능을 결합하여 옷 전달을 수행함으로써 부분적인 외관 전달을 가능하게 한다.
• 사전 계산된 매핑 테이블을 사용해 UV 공간 세그멘테이션을 2D 타겟 자세로 전달함으로써, 옷 합성에 대한 다중 소스 기능 융합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대칭 사전 지식이 큰 자세 변화가 있는 상황에서 2D 소스 이미지와 3D 신체 표면 간의 상응 필드를 효과적으로 보완하여 정확한 기능 전달을 가능하게 할 수 있는가?
• RQ2 StyleGAN2 생성자에서 공간적으로 변하는 조절 기법이 전역 조절보다 소스 이미지의 세밀한 질감 디테일을 더 잘 유지할 수 있는가?
• RQ3 제안된 방법이 자세 전달 과정에서 정체성과 옷차림 패턴을 유지하는 데 있어 최신 기술 대비 어떻게 성능을 냈는가?
• RQ4 이 방법이 다양한 신체 형태와 스커트, 긴 머리카락과 같은 복잡한 의복에 대해 얼마나 일반화되는가?
• RQ5 여러 소스 이미지에서 기능을 결합해 옷 전달을 수행함으로써 가상의 복장 착용을 지원할 수 있는가?

주요 결과

• 제안된 방법은 PSNR 18.9657, SSIM 0.7919, FID 8.1434, LPIPS 0.124를 기록하여 기준 방법 대비 정량적 지표에서 뛰어난 성능을 보였다.
• 대칭 기반 보간을 사용할 경우 비대칭 기반 기준 대비 PSNR가 0.0847 향상되고 FID가 0.3806 감소하였다.
• UV 맵을 완전히 또는 부분적으로 사용하는 것보다 소스 이미지에서 직접 특징 추출을 수행할 경우 더 나은 디테일 유지가 가능했으며, 이미지 기반 소스의 LPIPS 점수는 0.143이었다.
• 공간적 조절 기법은 이미지 품질을 크게 향상시켰으며, 소스 이미지를 입력으로 사용할 경우 LPIPS 점수를 0.151에서 0.139로 감소시켰다.
• 기존 연구 대비 손과 느슨한 의복 영역의 잡음 요소를 줄였지만, 장기간 머리카락과 어두운 피부색을 가진 개인의 경우 데이터셋 편향으로 인해 여전히 도전 과제가 남아 있다.
• 모델은 DeepFashion 데이터셋의 편향을 그대로 계승하여, 어두운 피부색을 가진 개인이나 굵은 털머리인 경우 성능이 열 劣화되었다.