[논문 리뷰] Pose-Guided High-Resolution Appearance Transfer via Progressive Training

Ji Liu, Heshan Liu외 3명|arXiv (Cornell University)|2020. 08. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 6

한 줄 요약

이 논문은 3D 모델을 사용하지 않고 고해상도(1024²) 외관 전이를 위한 점진적, 자세 유도 딥 인코더-디코더 네트워크를 제안한다. 국소적 인지 손실과 국소적 판별기들을 사용하여 세부 정보를 유지하고 가려진 영역을 현실적으로 재구성한다. 이는 큰 자세 변화 하에서 사진처럼 생생한 인간 이미지 합성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel pose-guided appearance transfer network for transferring a given reference appearance to a target pose in unprecedented image resolution (1024 * 1024), given respectively an image of the reference and target person. No 3D model is used. Instead, our network utilizes dense local descriptors including local perceptual loss and local discriminators to refine details, which is trained progressively in a coarse-to-fine manner to produce the high-resolution output to faithfully preserve complex appearance of garment textures and geometry, while hallucinating seamlessly the transferred appearances including those with dis-occlusion. Our progressive encoder-decoder architecture can learn the reference appearance inherent in the input image at multiple scales. Extensive experimental results on the Human3.6M dataset, the DeepFashion dataset, and our dataset collected from YouTube show that our model produces high-quality images, which can be further utilized in useful applications such as garment transfer between people and pose-guided human video generation.

연구 동기 및 목표

• 3D 모델을 사용하지 않고 기준 이미지에서 목표 자세로 고해상도(1024²) 자세 유도 외관 전이를 가능하게 한다.
• 큰 자세 변화와 자기 가림 상황에서도 복잡한 의복 무늬와 얼굴 특징을 유지한다.
• 외관 전이 과정에서 이전에 가려졌던 신체 부위를 현실적으로 재구성한다.
• 새로운 손실 설계를 통해 생성된 이미지의 국소적 세부 정보 정확도와 전반적인 일관성을 향상시킨다.
• 가상 시도 및 고해상도 인간 영상 생성과 같은 응용 분야에서의 일반화 능력과 유용성을 입증한다.

제안 방법

• 고해상도 출력을 생성하기 위해 굵기에서 세밀함으로 향하는 방식으로 훈련되는 점진적 인코더-디코더 아키텍처를 사용한다.
• 자동에코더의 복합부에 목표 자세 표현(18개의 관절 히트맵)을 통합하여 자세 유도를 구현한다.
• 세부 정보 유지 강화를 위해 44개의 국소 영역에 국소적 인지 손실을 적용한다.
• 최고 해상도(1024²)에서 국소적 판별기를 도입하여 국소 패치에서 현실적인 질감 생성을 강제한다.
• 전반적인 이미지 품질을 확보하기 위해 진짜 이미지와 생성된 이미지 간의 전역 인지 손실을 적용한다.
• 다양한 스케일 간의 공간 정보 유지 목적을 위해 디코더에 스킵 연결을 사용한다.

실험 결과

연구 질문

• RQ1 2D 기반 딥 네트워크가 3D 감시 없이 고해상도(1024²) 자세 유도 외관 전이를 달성할 수 있는가?
• RQ2 국소적 인지 손실과 국소적 판별기는 세부 정보 유지 및 가려진 영역 재구성에 얼마나 효과적인가?
• RQ3 점진적 훈련이 외관 전이 과정에서 생성된 이미지의 품질과 해상도를 향상시키는가?
• RQ4 이 방법은 복잡한 무늬와 자세 변화가 많은 다양한 데이터셋에 일반화될 수 있는가?
• RQ5 가상 시도 및 고해상도 영상 생성과 같은 후행 작업에 이 방법을 어느 정도 적용할 수 있는가?

주요 결과

• DeepFashion 데이터셋에서 제안된 방법은 SSIM 0.806, MS-SSIM 0.814, LPIPS 0.198을 기록하여 이전 최신 기술 수준의 방법들을 능가한다.
• YouTube 데이터셋에서 모델은 큰 자세 변화와 자기 가림 상황에서도 복잡한 의복 무늬와 얼굴 특징을 성공적으로 유지한다.
• 절단 실험 결과, 국소 기술자와 점진적 훈련 모두 생성 품질 향상에 기여하며, 조합 시 최고의 성능을 보였다.
• 모델은 1024² 해상도에서 사진처럼 생생한 이미지를 생성하며, 확대된 뷰에서는 세부 정보의 충실한 재구성과 해방된 영역의 현실적인 재구성 모습을 보여준다.
• 먼저 대상 이미지를 해방시키고, 외관 흐름을 통해 의복 외관을 전이함으로써 고품질의 가상 시도를 가능하게 한다.
• 자세 유도 인간 영상 생성 과정에서 모델은 얼굴 특징와 세부적인 의복 무늬를 유지한 채 1024² 해상도의 프레임을 생성하며, 이전 방법들보다 해상도와 세부 정보 정확도에서 뛰어난 성능을 보였다.