[논문 리뷰] Liquid Warping GAN: A Unified Framework for Human Motion Imitation, Appearance Transfer and Novel View Synthesis

Wen Liu, Zhixin Piao외 4명|arXiv (Cornell University)|2019. 09. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 25

한 줄 요약

이 논문은 3D 신체 메시 분리와 액체 왜곡 블록(LWB)을 사용하여 인간 운동 모방, 외형 전이, 새로운 시점 합성의 통합 프레임워크인 Liquid Warping GAN을 제안한다. LWB는 이미지 공간과 특징 공간을 모두 통합하여 원본 정체성과 세부 정보를 유지한다. 이 방법은 특히 가림과 다중 소스 설정에서 얼굴 정체성, 옷차림 세부 정보, 형태 일관성을 뛰어난 성능으로 유지한다.

ABSTRACT

We tackle the human motion imitation, appearance transfer, and novel view synthesis within a unified framework, which means that the model once being trained can be used to handle all these tasks. The existing task-specific methods mainly use 2D keypoints (pose) to estimate the human body structure. However, they only expresses the position information with no abilities to characterize the personalized shape of the individual person and model the limbs rotations. In this paper, we propose to use a 3D body mesh recovery module to disentangle the pose and shape, which can not only model the joint location and rotation but also characterize the personalized body shape. To preserve the source information, such as texture, style, color, and face identity, we propose a Liquid Warping GAN with Liquid Warping Block (LWB) that propagates the source information in both image and feature spaces, and synthesizes an image with respect to the reference. Specifically, the source features are extracted by a denoising convolutional auto-encoder for characterizing the source identity well. Furthermore, our proposed method is able to support a more flexible warping from multiple sources. In addition, we build a new dataset, namely Impersonator (iPER) dataset, for the evaluation of human motion imitation, appearance transfer, and novel view synthesis. Extensive experiments demonstrate the effectiveness of our method in several aspects, such as robustness in occlusion case and preserving face identity, shape consistency and clothes details. All codes and datasets are available on https://svip-lab.github.io/project/impersonator.html

연구 동기 및 목표

• 운동 모방, 외형 전이, 새로운 시점 합성을 하나의 프레임워크로 통합하여 작업별 전용 파ipelines의 한계를 해결한다.
• 기존의 자세 유도 GAN에서 흔히 발생하는 원본 정체성 및 세부 정보 품질 저하—특히 얼굴 정체성과 옷 텍스처—를 해결한다.
• 다른 소스에서 머리와 몸을 별도로 조합하는 것과 같은 영리한 다중 소스 왜곡을 가능하게 하여 외형 전이에서 국소 정체성 유지 성능을 향상시킨다.
• 자기 가림과 큰 자세 변화를 효과적으로 다룰 수 있는 강력한 방법을 개발하여 형태 일관성을 유지한다.
• 모든 세 가지 작업에서 일관된 조건에서 평가하고 비교할 수 있도록 새로운 벤치마크 데이터셋 iPER를 제안한다.

제안 방법

• 자세와 형태를 분리하기 위해 3D 신체 메시 복원 모듈을 활용하여 2D 키포인트를 넘는 관절 위치, 자세 회전, 개인화된 신체 구조를 정확하게 모델링한다.
• 원본 특징을 이미지 공간과 특징 공간 양쪽에서 전파하는 액체 왜곡 블록(LWB)을 설계하여 국소 부위 특징을 글로벌 스트림에 융합함으로써 정체성과 텍스처를 유지한다.
• 다운샘플링 연산에도 불구하고 색상, 스타일, 텍스처, 얼굴 정체성을 유지할 수 있도록 강건한 원본 특징을 추출하기 위해 노이즈 제거 컨볼루션 오토인코더를 사용한다.
• 다양한 원본 이미지에서의 특징을 별도로 처리하고 통합된 특징 표현으로 융합함으로써 다중 소스 왜곡을 지원한다 (예: 한 원본에서 머리, 다른 원본에서 몸).
• 생성적 적대적 훈련과 인지적, 정체성 인식 손실을 통합하여 생성된 이미지의 현실성과 정확성을 향상시킨다.
• 통합 모델을 한 번 훈련하고 나서는 운동 모방, 외형 전이, 새로운 시점 합성 전반에 걸쳐 재훈련 없이 배포한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 프레임워크가 인간 운동 모방, 외형 전이, 새로운 시점 합성을 일관된 성능으로 효과적으로 통합할 수 있는가?
• RQ2 큰 기하학적 변형 상황에서도 자세 조작 및 시점 합성 과정에서 원본 정체성, 특히 얼굴 정체성과 옷차림 세부 정보를 어떻게 유지할 수 있는가?
• RQ3 2D 키포인트 기반 방법에 비해 3D 신체 메시 복원 기술이 형태 일관성과 자세 정확도를 얼마나 향상시키는가?
• RQ4 액체 왜곡 블록(LWB)과 같은 새로운 왜곡 메커니즘이 기존의 연결, 텍스처 왜곡, 특징 왜곡보다 원본 특성 유지 능력을 뛰어나게 할 수 있는가?
• RQ5 특히 가림 또는 복잡한 자세 상황에서, 모델은 새로운 시점과 도메인 외부 참조 이미지에 대해 얼마나 잘 일반화되는가?

주요 결과

• iPER 데이터셋에서 본 방법은 운동 모방 과제에서 SSIM(0.840)가 가장 높고 LPIPS(0.087)가 가장 낮아 PG2, SHUP, DSC 및 기타 베이스라인을 모두 앞선다.
• 본 방법은 원본 신체 형태를 정확히 유지하여 PG2 및 DSC와 같은 2D 자세 유도 방법에서 흔히 발생하는 키나 비율 왜곡을 방지한다.
• 얼굴이 가려진 자기 가림 케이스에서 본 방법은 경쟁 방법보다 더 현실적이고 일관된 이미지 콘텐츠를 생성한다.
• 모든 과제에서 얼굴 정체성과 옷차림 텍스처 세부 정보를 고해상도로 유지하며, 참조 이미지가 다른 도메인(예: 인터넷 이미지)일 경우에도 마찬가지다.
• LWB 기반 방법은 베이스라인 대비 LPIPS를 14.8% 감소시켜 더 뛰어난 인지적 유사성(Perceptual Similarity)을 확보한다 ($W_F$ 기준 최고 성능 대비).
• 프레임워크는 새로운 시점 합성에 성공적으로 일반화되어 12개의 시점 각도(30°에서 330°까지)에서 타당하고 일관된 이미지를 생성하며, 가려진 부분이 있는 시점에서도 마찬가지다.