[논문 리뷰] Human Motion Transfer from Poses in the Wild

Jian Ren, Menglei Chai외 4명|arXiv (Cornell University)|2020. 04. 07.

Human Pose and Action Recognition참고 문헌 55인용 수 10

한 줄 요약

이 논문은 통합된 쌍체 학습 및 비쌍체 학습, 자세 증강, 정밀화 네트워크를 활용하여 실외에서 촬영된 자세로부터 고해상도 인간 운동 전이를 위한 이단계적 자세-비디오 번역 프레임워크를 제안한다. 이는 비록 훈련 데이터에 등장하지 않은 자세나 도전적인 자세에 대해서도 강인하고 시간적으로 일관되며 사진처럼 사실적인 결과를 달성한다. 다양한 데이터셋에서 최신 기술(SOTA)을 크게 뛰어넘으며, FID(5.9453)와 SSIM(0.9666) 향상으로 성과를 입증한다.

ABSTRACT

In this paper, we tackle the problem of human motion transfer, where we synthesize novel motion video for a target person that imitates the movement from a reference video. It is a video-to-video translation task in which the estimated poses are used to bridge two domains. Despite substantial progress on the topic, there exist several problems with the previous methods. First, there is a domain gap between training and testing pose sequences--the model is tested on poses it has not seen during training, such as difficult dancing moves. Furthermore, pose detection errors are inevitable, making the job of the generator harder. Finally, generating realistic pixels from sparse poses is challenging in a single step. To address these challenges, we introduce a novel pose-to-video translation framework for generating high-quality videos that are temporally coherent even for in-the-wild pose sequences unseen during training. We propose a pose augmentation method to minimize the training-test gap, a unified paired and unpaired learning strategy to improve the robustness to detection errors, and two-stage network architecture to achieve superior texture quality. To further boost research on the topic, we build two human motion datasets. Finally, we show the superiority of our approach over the state-of-the-art studies through extensive experiments and evaluations on different datasets.

연구 동기 및 목표

• 훈련 및 테스트 자세 시퀀스 간 도메인 갭을 해결하며, 특히 훈련 중에 등장하지 않은 실외 자세에 대해 고려한다.
• 실세계 영상에서 키포인트가 누락되거나 잘못 정렬된 경우와 같은 자세 검출 오류에 대한 강인성을 향상시킨다.
• 희소 자세 입력에서 고해상도이고 시간적으로 일관된 비디오 생성을 위해 배경이 아닌 전경만을 중점으로 하는 합성 기법을 통해 실현한다.
• 쌍체 지도 학습과 비쌍체 데이터 간 격차를 메우기 위해 통합된 쌍체 및 비쌍체 학습 전략을 도입한다.
• 훈련 분포 외의 극단적 또는 복잡한 운동에도 불구하고 사실적인 질감 생성과 운동 일관성을 유지할 수 있도록 한다.

제안 방법

• 이중단계 네트워크 아키텍처를 도입한다: 첫 번째로 자세-이미지 번역 네트워크가 초기 전경 프레임을 생성하고, 두 번째로 정밀화 네트워크가 질감 품질과 선명도를 향상시킨다.
• 훈련 중에 자세 증강을 적용하여 랜덤하게 키포인트 채널을 제거하고 신체 부위 길이를 조정함으로써 검출 오류를 시뮬레이션하고 강인성을 향상시킨다.
• 대규모 단일 인물 활동(SPA) 데이터셋을 실외 소스 데이터로 활용하여 비쌍체 학습을 훈련 파이프라인에 통합함으로써, 훈련 데이터에 없는 자세로의 일반화 능력을 향상시킨다.
• 쌍체 및 비쌍체 훈련 브랜치를 모두 지원할 수 있는 병합된 판별자 설계를 사용하여 도메인 간 공동 최적화를 가능하게 한다.
• 배경 잡음 감소, 계산 효율성 향상, 그리고 쉬운 배경 교체를 위해 배경이 아닌 전경만을 중점으로 하는 합성 기법을 적용한다.
• 연속된 자세 시퀀스를 입력으로 사용하여 프레임 간 시간적 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 훈련 데이터와 현저히 다른 실외 자세 시퀀스에 대해 자세-비디오 모델이 효과적으로 일반화될 수 있는가?
• RQ2 운동 생성 과정에서 자세 검출 오류를 어떻게 완화할 수 있으며, 이를 통해 구조적 일관성과 현실감을 유지할 수 있는가?
• RQ3 단일 단계 생성 대비 이중단계 정밀화 네트워크가 질감 품질 향상과 잡음 감소에 얼마나 기여하는가?
• RQ4 쌍체 학습과 비쌍체 학습을 결합함으로써 순수 지도 학습 대비 일반화 능력과 강인성이 향상되는가?
• RQ5 전체 프레임 생성 대비 전경만을 중심으로 하는 합성 기법이 운동 전이 작업에서 더 높은 시각적 정밀도와 재사용 가능성을 달성할 수 있는가?

주요 결과

• 전체 방법(PL-UL-Stage2)은 SSIM 0.9666과 FID 5.9453을 달성하며, 아블레이션 변형 및 SOTA 기준 모델을 크게 뛰어넘는다.
• 자세 증강(DA)은 잡음 감소와 키포인트 검출 오류 상황에서도 일관성 향상에 기여하며, vid2vid와의 정성적 비교에서 이를 입증한다.
• 이중단계 정밀화 네트워크는 단일단계 모델 대비 질감 세부 정보 향상과 경계 정확도 향상으로 인해 구멍이나 누락된 사지 문제를 크게 줄였다.
• 비쌍체 학습은 훈련 데이터에 포함되지 않은 실외 자세로의 일반화 능력을 향상시켜, 복잡하거나 극단적인 운동에도 성공적인 운동 전이를 가능하게 한다.
• 시각적 아블레이션 연구 결과, 특히 비쌍체 학습 또는 정밀화 모듈을 제거할 경우 눈에 띄는 잡음, 흐릿한 질감, 일관성 없는 신체 부위가 발생함을 확인했다.
• 그림 4의 도전적인 사례에서 볼 수 있듯이, 입력 자세에 키포인트가 누락되거나 잘못 정렬되어 있어도, 이 방법은 완전하고 일관되며 사실적인 전경 이미지를 성공적으로 생성한다.