[논문 리뷰] Human Motion Transfer with 3D Constraints and Detail Enhancement

Yang-Tian Sun, Qiancheng Fu외 5명|arXiv (Cornell University)|2020. 03. 30.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 재구성된 파arametric 인간 모델에서 유도한 3D 제약 조건과 세부 정보 강화 네트워크를 활용하여 현실적이고 고해상도의 운동 전이 영상을 생성하는 GAN 기반의 인간 운동 전이 방법을 제안한다. 3D 구조적 일관성을 확보하기 위해 라플라시안 특징을 활용하고, 실제 소스 프레임으로부터 세부 정보를 전이함으로써 기존 최고 수준의 방법들에 비해 열등한 정량적·정성적 결과를 달성한다.

ABSTRACT

We propose a new method for realistic human motion transfer using a generative adversarial network (GAN), which generates a motion video of a target character imitating actions of a source character, while maintaining high authenticity of the generated results. We tackle the problem by decoupling and recombining the posture information and appearance information of both the source and target characters. The innovation of our approach lies in the use of the projection of a reconstructed 3D human model as the condition of GAN to better maintain the structural integrity of transfer results in different poses. We further introduce a detail enhancement net to enhance the details of transfer results by exploiting the details in real source frames. Extensive experiments show that our approach yields better results both qualitatively and quantitatively than the state-of-the-art methods.

연구 동기 및 목표

• 소스 주체에서 타겟 주체로의 현실적인 인간 운동 전이 문제를 해결함과 동시에 외관과 운동의 진정성을 유지하고자 한다.
• 3D 기하 제약 조건을 통합하여 자가 가림 및 구조 왜곡과 같은 포즈 전이의 잡음 문제를 해결하고자 한다.
• 실제 소스 프레임의 기하학적 정보를 활용하여 손과 얼굴 기능과 같은 세분화된 시각적 세부 정보를 향상시켜 현실감을 높이고자 한다.
• 3D 신체 구조 통합 및 세부 정보 인식 보정을 통해 운동 전이의 시간적 일관성과 영상 품질을 향상시키고자 한다.

제안 방법

• 비정적 3D 재구성 파이프라인을 사용하여 단일 카메라 소스 및 타겟 영상 시퀀스에서 3D 파arametric 인간 모델을 재구성한다.
• 재구성된 3D 메쉬에서 라플라시안 특징을 추출하여 GAN 조건화에 사용할 수 있는 변형에 강인한 내재 기하 표현으로서의 3D 제약 조건을 확보한다.
• 2D 포즈와 투영된 라플라시안 특징을 조건 입력으로 사용하여 GAN 기반의 이미지 간 번역 네트워크를 통해 다양한 포즈 간의 구조적 일관성을 유지한다.
• 소스 프레임 기하학적 정보를 타겟 포즈와 정렬하고 고주파 세부 정보(예: 손, 얼굴)를 전이함으로써 현실감을 향상시키는 세부 정보 강화 네트워크(DE-Net)를 설계한다.
• 소스 및 타겟 영상 프레임을 동시에 사용하여 운동 전이 네트워크(MT-Net)와 DE-Net을 공동으로 학습함으로써 세부 정보 인식 생성을 가능하게 한다.
• 소스와 타겟 간 공간적 대응을 보장하기 위해 DE-Net에 정렬 변환을 적용하여 세부 정보 전이 시 잡음 감소

실험 결과

연구 질문

• RQ1 재구성된 인간 모델에서 유도한 3D 기하 제약 조건이 2D 포즈 조건화에 비해 운동 전이 결과의 구조적 정밀도를 향상시키는가?
• RQ2 라플라시안 좌표와 같은 내재 3D 특징이 기존의 3D 특징(예: UV 좌표)에 비해 운동 전이 작업에서 어떻게 비교되는가?
• RQ3 실제 소스 프레임의 세부 정보가 손과 얼굴 기능과 같은 영역에서 생성된 운동 전이 영상의 시각적 품질을 어느 정도 향상시키는가?
• RQ4 학습 중 소스 프레임 수가 운동 전이 모델의 품질과 일반화 능력에 미치는 영향은 어떠한가?
• RQ5 소스 주체가 비정상적인 동작이나 옷차림 변화를 보일 경우, 이 방법의 실패 유형은 무엇인가?

주요 결과

• 제안된 방법은 인ception 스코어(IS) 4.015와 프리셰트 인ception 디스턴스(FID) 51.26을 달성하여 기존 방법의 IS 3.612와 FID 58.42에 비해 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험을 통해 라플라시안 특징을 활용한 3D 제약 조건이 더 높은 IS와 낮은 FID를 제공함으로써 이미지 품질과 다양성 향상이 입증되었다.
• 세부 정보 강화 네트워크는 특히 얼굴 기능과 손에서 뚜렷한 시각적 명료성 향상과 블러 감소 효과를 보였으며, 정성적 비교에서 이를 확인할 수 있었다.
• 이 방법은 다양한 포즈 간에 시간적 안정성과 구조적 일관성을 유지하며, 기존 기준 방법에서 흔히 발생하는 사지 혼합 잡음과 같은 문제를 피했다.
• 실험 결과, 소스-타겟 프레임 비율이 약 0.5에 도달할 때 영상 품질의 수렴이 발생함을 확인하여 데이터 준비 지침을 제공하였다.
• 실패 케이스 분석을 통해 소스 주체가 긴 머리카락이나 느슨한 옷차림을 가진 경우 DE-Net이 불필요한 시각적 잡음을 억제하지 못하는 한계를 드러냈다.