[논문 리뷰] Dense Pose Transfer

Natalia Neverova, Rıza Alp Güler외 1명|arXiv (Cornell University)|2018. 09. 06.

Advanced Vision and Imaging참고 문헌 42인용 수 5

한 줄 요약

이 논문은 밀도 높은 인간 신체 표면 표현을 활용하여 소스 이미지의 인물 외형을 포즈 기부자에 의해 안내되는 새로운 자세로 전이하는 신경 합성 프레임워크인 Dense Pose Transfer를 제안한다. 표면 기반 워핑 모듈, 인painting 네트워크, 그리고 적대적, 인지적, 재구성 손실을 종합적으로 최적화하는 조건부 생성 모델을 결합함으로써, DeepFashion 및 MVC 데이터셋에서 포즈 전이 작업에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 관점 기반 및 마스크 기반 기준선을 능가하였다.

ABSTRACT

In this work we integrate ideas from surface-based modeling with neural synthesis: we propose a combination of surface-based pose estimation and deep generative models that allows us to perform accurate pose transfer, i.e. synthesize a new image of a person based on a single image of that person and the image of a pose donor. We use a dense pose estimation system that maps pixels from both images to a common surface-based coordinate system, allowing the two images to be brought in correspondence with each other. We inpaint and refine the source image intensities in the surface coordinate system, prior to warping them onto the target pose. These predictions are fused with those of a convolutional predictive module through a neural synthesis module allowing for training the whole pipeline jointly end-to-end, optimizing a combination of adversarial and perceptual losses. We show that dense pose estimation is a substantially more powerful conditioning input than landmark-, or mask-based alternatives, and report systematic improvements over state of the art generators on DeepFashion and MVC datasets.

연구 동기 및 목표

• 희소하거나 굵은 조건 신호 대신 밀도 높은 인간 신체 표면 표현을 사용하여 포즈 전이의 품질을 향상시키는 것.
• 단일 소스 이미지와 포즈 기부자 이미지만을 사용하여 새로운 자세에서 사람의 사진진실감 있는 이미지 합성을 가능하게 하는 것.
• 기하학적 인식 워핑, 인painting, 생성 합성의 세 가지 요소를 동시에 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발하는 것.
• 밀도 높은 포즈 추정이 지표점이나 세그멘테이션 맵보다 더 강력한 조건 신호임을 입증하는 것.

제안 방법

• 해당 방법은 소스 및 타겟 이미지를 모두 공통의 3D 표면 기반 UV 좌표계로 매핑하여 자세 간에 픽셀 단위의 대응 관계를 가능하게 한다.
• UV 공간에서 동작하는 U-Net 기반의 인painting 네트워크를 활용하여 워핑 이전에 손실되거나 가림을 입은 텍스처를 재구성한다.
• 별도의 순방향 예측 모듈이 자세 및 외형 특징에 기반하여 거칠은 이미지 합성을 생성한다.
• 워핑(인painting 기반) 및 예측 모듈의 출력을 복합 적대적, 인지적, L1 재구성 손실을 함께 사용해 훈련된 블렌딩 네트워크를 통해 융합한다.
• 전체 파이프라인은 L1, 인지적, 스타일, GAN 기반 손실을 포함하는 복합 손실 함수를 사용하여 엔드 투 엔드로 훈련되며, 더 높은 현실감과 구조적 정확도를 향상시킨다.
• 프레임워크는 SMPL 기반 신체 모델링과 DensePose를 사용하여 기하학적 일관성을 확보하고 자세 간 정확한 텍스처 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 희소하거나 굵은 감독 신호 대비 밀도 높은 인간 신체 표면 표현이 이미지 기반 포즈 전이의 품질과 제어 가능성에 상당한 향상을 이끌 수 있는가?
• RQ2 UV 공간에서의 인painting 통합이 포즈 전이의 현실감 향상과 잡음 감소에 어떻게 기여하는가?
• RQ3 L1, 인지적, 스타일, 적대적 손실 구성 요소 중 각각이 최종 이미지 품질에 기여하는 비율은 어떠한가?
• RQ4 기하학적 워핑과 데이터 기반 합성을 융합한 이중 스트림 아키텍처가 단일 스트림 생성 모델보다 포즈 전이에서 더 우수한 성능을 내는가?
• RQ5 제안된 방법은 명시적인 3D 감독 또는 텍스처 맵 없이 다양한 데이터셋에 일반화되어 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 모든 손실 구성 요소(L1, 인지적, 스타일, GAN)를 포함한 전체 모델은 DeepFashion 데이터셋에서 최고의 Fréchet Inception Distance(FID) 점수 3.61을 기록하여 뛰어난 인지적 품질을 입증하였다.
• 제거 실험에서 워핑 스트림에 인painting 모듈을 추가함으로써 SSIM은 0.789에서 0.796으로, MS-SSIM는 0.814에서 0.823으로 향상되어, 가림 영역 처리에 있어 그 효과를 입증하였다.
• 인지적 손실이 구조적 정밀도와 가장 높은 상관관계를 보였고, 스타일 손실은 텍스처의 선명도를 향상시켰지만 균일한 영역에서는 잡음 요소를 유발하였다.
• 특히 복잡한 신체 형태와 의복 세부 정보 처리에서 관점 기반 및 세그멘테이션 기반 기준선 대비 정량적 지표(SSIM, MS-SSIM, IS)와 정성적 결과 모두에서 뛰어난 성능을 보였다.
• 블렌딩 모듈은 예측 스트림과 워핑 스트림의 상호보완적 강점을 효과적으로 융합하여 텍스처 경계에서의 눈에 띄는 잡음 요소를 감소시켰다.
• DeepFashion 및 MVC 데이터셋 양쪽에서 최신 기술 수준의 성능을 달성하였으며, 밀도 높은 포즈 추정이 조건 신호로서의 우수성을 확인하였다.