[논문 리뷰] PISE: Person Image Synthesis and Editing with Decoupled GAN

Jinsong Zhang, Kun Li외 2명|arXiv (Cornell University)|2021. 03. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 11

한 줄 요약

PISE는 옷의 실루엣과 스타일을 분리하여 지역별로 전역 및 국지적 인코딩과 정규화를 사용하는 두 단계 GAN 기반 프레임워크를 제안한다. 이는 시각적 및 비시각적 영역의 현실적인 생성을 가능하게 하며, 공간적 맥락을 유지한다. 이 방법은 자세 이송, 텍스처 이송, 영역 편집에서 최신 기술 수준의 성능을 달성하며, 뛰어난 지각적 품질과 분리된 제어 기능을 제공한다.

ABSTRACT

Person image synthesis, e.g., pose transfer, is a challenging problem due to large variation and occlusion. Existing methods have difficulties predicting reasonable invisible regions and fail to decouple the shape and style of clothing, which limits their applications on person image editing. In this paper, we propose PISE, a novel two-stage generative model for Person Image Synthesis and Editing, which is able to generate realistic person images with desired poses, textures, or semantic layouts. For human pose transfer, we first synthesize a human parsing map aligned with the target pose to represent the shape of clothing by a parsing generator, and then generate the final image by an image generator. To decouple the shape and style of clothing, we propose joint global and local per-region encoding and normalization to predict the reasonable style of clothing for invisible regions. We also propose spatial-aware normalization to retain the spatial context relationship in the source image. The results of qualitative and quantitative experiments demonstrate the superiority of our model on human pose transfer. Besides, the results of texture transfer and region editing show that our model can be applied to person image editing.

연구 동기 및 목표

• 큰 자세 변형, 특히 가림되거나 보이지 않는 영역이 있는 경우에도 현실적인 인체 이미지를 생성하는 데 도전하는 것.
• 다양하고 세밀한 인체 이미지 편집을 위한 옷의 실루엣과 스타일을 분리하는 것.
• 생성된 출력에서 원본 이미지의 공간적 맥락 관계를 유지하는 것.
• 중간 파싱 맵을 통해 텍스처 및 의미적 레이아웃의 제어 가능한 편집을 가능하게 하는 것.
• 인간 자세 이송 및 관련 응용 분야에서 이미지의 현실성과 지각적 품질을 향상시키는 것.

제안 방법

• 모델은 두 단계 프레임워크를 사용한다: 첫 번째 단계에서는 목표 자세에 맞춰 정렬된 인간 파싱 맵을 생성하여 옷의 실루엣을 표현한다.
• 전역 및 국지적 지역별 인코딩과 정규화를 공동으로 적용하여 가시 영역과 비가시 영역 모두에 대해 스타일을 예측함으로써 일관되고 현실적인 텍스처 합성을 보장한다.
• 공간 인지 정규화를 도입하여 원본 이미지의 공간적 맥락을 특징 맵의 스케일과 바이어스 조절을 통해 전달한다.
• 이미지 생성기는 파싱된 실루엣과 영역별 스타일 코드를 사용하여 디코더 네트워크를 통해 최종 이미지를 합성한다.
• 학습된 스타일 코드를 통해 지역별 스타일 제어를 달성하여 텍스처 이송과 보간이 가능하다.
• 실제성과 충실도를 확보하기 위해 적대적 손실, 지각적 손실, 신원 손실을 함께 훈련에 적용한다.

실험 결과

연구 질문

• RQ1 두 단계 GAN 프레임워크가 인체 이미지 합성의 옷 실루엣과 스타일을 효과적으로 분리할 수 있는가?
• RQ2 자세 이송 중 비가시 영역에 대해 자연스러운 텍스처를 어떻게 예측할 수 있는가?
• RQ3 원본 이미지의 공간적 맥락이 생성된 출력에 얼마나 잘 유지되는가?
• RQ4 모델이 텍스처 이송 및 영역 조작과 같은 영리한 편집을 지원할 수 있는가?
• RQ5 전역-국지적 인코딩과 공간 인지 정규화의 조합이 이미지 품질에 기여하는 정도는 어느 정도인가?

주요 결과

• 전역 및 국지적 지역별 인코딩과 공간 인지 정규화를 모두 포함한 전체 모델이 가장 뛰어난 지각적 품질과 현실성을 달성하며, 이러한 구성 요소가 없는 모델보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 공동 인코딩이 비가시 영역에서의 성능을 향상시킴을 입증하였으며, 특히 가림된 자세에서 자연스러운 얼굴 특징과 신발의 예측이 가능했다.
• 공간 인지 정규화는 시각적 비교를 통해 이미지의 선명도와 공간 일관성을 크게 향상시켰다.
• 모델은 자연스럽고 세밀하며 제어 가능한 옷 텍스처를 생성하여 텍스처 이송에서 뛰어난 성능을 달성했다.
• 파싱 맵 입력을 수정함으로써 영역 편집이 성공적으로 가능해졌으며, 원하는 이미지 레이아웃을 자동으로 합성할 수 있었다.
• 기준 모델들 대비 가장 낮은 FID 및 LPIPS 점수를 기록하여 실제 이미지와 강한 지각적 및 분포 유사성을 확보했다.