[논문 리뷰] TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting

Zhuoqian Yang, Wentao Zhu외 5명|arXiv (Cornell University)|2020. 03. 31.

Advanced Vision and Imaging참고 문헌 55인용 수 7

한 줄 요약

TransMoMo는 3D 지도 없이, 쌍화되지 않은 웹 비디오만으로도 훈련되며, 2D 스켈레톤 시퀀스를 운동, 구조, 시점 각도의 불변 잠재 요인으로 분리하는 비지도 비디오 운동 리타겟팅 방법을 제안한다. 비지도 학습을 통해 다양한 신체 구조와 시점에서 복잡한 운동을 전이하는 데 최고의 성능을 달성하며, NKN, EDN, LCM 등의 방법보다 정량적 지표와 시각적 품질 모두에서 뛰어나다.

ABSTRACT

We present a lightweight video motion retargeting approach TransMoMo that is capable of transferring motion of a person in a source video realistically to another video of a target person. Without using any paired data for supervision, the proposed method can be trained in an unsupervised manner by exploiting invariance properties of three orthogonal factors of variation including motion, structure, and view-angle. Specifically, with loss functions carefully derived based on invariance, we train an auto-encoder to disentangle the latent representations of such factors given the source and target video clips. This allows us to selectively transfer motion extracted from the source video seamlessly to the target video in spite of structural and view-angle disparities between the source and the target. The relaxed assumption of paired data allows our method to be trained on a vast amount of videos needless of manual annotation of source-target pairing, leading to improved robustness against large structural variations and extreme motion in videos. We demonstrate the effectiveness of our method over the state-of-the-art methods. Code, model and data are publicly available on our project page (https://yzhq97.github.io/transmomo).

연구 동기 및 목표

• 쌍화된 훈련 데이터 없이도 큰 구조적 차이와 시점 변화가 있는 개인 간에 현실적인 비디오 운동 리타겟팅을 가능하게 하기 위해.
• 3D 자세 추정이나 쌍화된 운동-스켈레톤 애너테이션에 의존하지 않고 2D 공간에서 운동 전이를 학습하는 데 도전하기 위해.
• 시간적 시퀀스 내에서의 불변성 특성을 활용하여 극단적인 운동과 예측되지 않은 신체 유형에 대한 일반화 능력과 강건성을 향상시키기 위해.
• 다양한 캐주얼한 실외 비디오 데이터에서 경량의 즉시 사용 가능한 모듈을 훈련시켜 데이터 효율성과 확장성을 향상시키기 위해.

제안 방법

• 이 방법은 운동 리타겟팅을 세 단계로 분해한다: 2D 스켈레톤 추출, 스켈레톤 시퀀스에서의 운동 리타겟팅, 그리고 이미지 번역을 통한 스켈레톤-비디오 렌더링.
• 불변성 제약 조건을 사용하여 오타고날 요소로 분리된 잠재 표현인 운동, 구조, 시점 각도를 얻기 위해 오토인코더 아키텍처를 활용한다.
• 운동이 구조나 시점 각도 변화에 영향을 받지 않도록, 구조가 시점 각도 이동에 대해 불변이 되도록, 그리고 시점 각도가 구조 변화에 대해 불변이 되도록 보장하는 불변성 기반 손실 함수를 유도한다.
• 분리와 현실적인 새로운 시점 각도 시퀀스 생성을 보장하기 위해 교차 재구성 손실, 트리플릿 손실, 적대적 손실을 사용한다.
• 다양한 신체 구조를 시뮬레이션하고 극단적인 신체 유형에 대한 일반화 능력을 향상시키기 위해 레그 스케일링 데이터 증강 전략을 도입한다.
• 모델은 쌍화되지 않은 실외 비디오에서 엔드 투 엔드로 훈련되어, 3D 지도나 운동-스켈레톤 쌍화 없이도 비지도 학습이 가능하다.

실험 결과

연구 질문

• RQ1 3D 자세 추정이나 쌍화된 데이터 없이도 2D 공간에서 운동 리타겟팅을 효과적으로 학습할 수 있는가?
• RQ2 운동, 구조, 시점 각도 간의 불변성을 어떻게 활용하여 비디오 시퀀스에서 비지도 분리를 가능하게 할 수 있는가?
• RQ3 정제되지 않은 실외 비디오에서 훈련된 모델이 합성된 쌍화된 데이터로 훈련된 지도 학습 모델보다 더 잘 일반화되는가?
• RQ4 각 손실 구성 요소(교차 재구성, 트리플릿, 적대적)가 최종 분리 및 생성 품질에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 Mixamo 데이터셋에서 가장 낮은 관절 위치 오차(MSE: 0.0131, MAE: 0.0673)를 기록하여 NKN, EDN, LCM를 모두 능가한다.
• 실외 데이터 전용으로 훈련된 모델(Solo-Dancer 데이터셋)이 가장 낮은 오차를 기록하여 다양한 실제 운동 데이터의 이점을 입증한다.
• 제거 실험 결과, 교차 재구성 손실을 제거할 경우 MSE가 100% 이상 증가하여 이 손실이 분리에 핵심적인 역할을 한다는 것을 확인했다.
• 트리플릿 손실은 분리에 크게 기여하며, 이를 제거하면 MSE가 16% 증가한다. 반면 적대적 손실은 메트릭 스코어에 큰 영향을 주지 않지만 시각적 현실감을 향상시킨다.
• 레그 스케일링 증강 메커니즘이 극단적인 신체 구조에 대한 일반화 능력을 향상시켜 다양한 예측되지 않은 신체 유형에서도 견고한 성능을 발휘한다.
• 고다양성 실외 비디오에서 훈련된 덕분에 복잡하고 극단적인 운동에 대해 잘 일반화되며, 합성 운동 데이터셋에 국한된 지도 학습 방법과는 대조적으로 뛰어난 성능을 발휘한다.