[논문 리뷰] Human MotionFormer: Transferring Human Motions with Vision Transformers

Hongyu Liu, Xintong Han외 9명|arXiv (Cornell University)|2023. 02. 22.

Human Pose and Action Recognition인용 수 5

한 줄 요약

Human MotionFormer는 계층적인 비전 트랜스포머 프레임워크를 통해 전역 및 국소 운동 매칭을 동시에 모델링하여 고해상도 인간 운동 전이를 구현한다. 이는 이중 ViT 인코더를 사용해 특징을 추출하고, 왜곡 및 생성 브랜치를 갖춘 다중 헤드 교차attention 디코더를 활용하며, 상호 학습 손실으로 성능을 향상시켜 정량적 및 정성적 지표에서 최신 기술 수준을 달성한다.

ABSTRACT

Human motion transfer aims to transfer motions from a target dynamic person to a source static one for motion synthesis. An accurate matching between the source person and the target motion in both large and subtle motion changes is vital for improving the transferred motion quality. In this paper, we propose Human MotionFormer, a hierarchical ViT framework that leverages global and local perceptions to capture large and subtle motion matching, respectively. It consists of two ViT encoders to extract input features (i.e., a target motion image and a source human image) and a ViT decoder with several cascaded blocks for feature matching and motion transfer. In each block, we set the target motion feature as Query and the source person as Key and Value, calculating the cross-attention maps to conduct a global feature matching. Further, we introduce a convolutional layer to improve the local perception after the global cross-attention computations. This matching process is implemented in both warping and generation branches to guide the motion transfer. During training, we propose a mutual learning loss to enable the co-supervision between warping and generation branches for better motion representations. Experiments show that our Human MotionFormer sets the new state-of-the-art performance both qualitatively and quantitatively. Project page: \url{https://github.com/KumapowerLIU/Human-MotionFormer}

연구 동기 및 목표

• 원본 인물과 대상 운동 간의 큰 변화와 미세한 운동 변화를 정확하게 매칭하는 데 도전한다.
• 장거리 의존성과 희박한 관절 키포인트 표현을 포착하는 데 어려움을 겪는 CNN 기반 방법의 한계를 극복한다.
• 비전 트랜스포머를 활용해 전역 및 국소 특징 매칭을 동시에 모델링하여 운동 전이 품질을 향상시킨다.
• 왜곡 및 생성 브랜치를 결합하고 상호 감독을 통해 아티팩트를 줄이고 사진 유사성 품질을 향상시킨다.

제안 방법

• 프레임워크는 원본 인물 이미지와 대상 자세 이미지에서 계층적 특징을 추출하기 위해 두 개의 비전 트랜스포머 인코더를 사용한다.
• 연쇄 블록을 갖춘 디코더는 교차 어텐션 메커니즘을 사용하며, 대상 운동 특징을 쿼리로, 원본 특징을 키 및 밸류로 간주하여 전역 매칭을 수행한다.
• 교차 어텐션 이후에 컨볼루션 레이어를 도입하여 국소 인식을 향상시키고 특징 정렬을 정밀하게 한다.
• 디코더는 두 개의 병렬 브랜치로 구성된다: 왜곡 브랜치는 예측된 플로우 필드를 사용해 원본 특징을 왜곡하고, 생성 브랜치는 새로운 외관 세부 정보를 합성한다.
• 왜곡 브랜치와 생성 브랜치 간의 특징을 정렬하기 위해 상호 학습 손실을 도입하여 상호 감독과 함께 표현 학습을 향상시킨다.
• 모델은 적대적 손실과 다중 스케일 감시를 사용하여 훈련되며, 10 에포크 동안 학습률 감소 전략을 적용한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머가 인간 운동 전이에서 전역 및 국소 운동 매칭을 효과적으로 모델링할 수 있는가?
• RQ2 왜곡 및 생성 브랜치의 공동 최적화가 단일 브랜치 방법에 비해 운동 전이의 현실감을 어떻게 향상시키는가?
• RQ3 브랜치 간의 상호 학습이 특징 표현을 향상시키고 아티팩트를 줄이는 데 얼마나 기여하는가?
• RQ4 대규모 운동 변화와 부분적 가림을 다룰 때, 제안된 방법이 CNN 기반 및 3D 메시 기반 접근법에 비해 어떻게 비교되는가?
• RQ5 다양한 원본 인물과 대상 운동에 대해 프레임워크가 일반화되어 정체성과 외관 충실도를 유지할 수 있는가?

주요 결과

• 완전한 Human MotionFormer 모델은 유튜브 데이터셋에서 PSNR 23.50, SSIM 0.885, LPIPS 0.073, FID 65.03을 기록하며, 모든 아블레이션 버전을 능가한다.
• 왜곡 브랜치를 제거하면 옷에 비자연스러운 초록색 및 검은 영역 등의 심각한 아티팩트가 발생하여, 원본 외관을 유지하는 데서의 역할을 확인할 수 있다.
• 생성 브랜치만으로는 과적합을 방지하지 못해 비현실적인 출력을 생성하지만, 왜곡 브랜치만으로는 새로운 콘텐츠를 생성할 수 없어 사진 유사성 품질이 떨어진다.
• 상호 학습 손실은 시각적 아티팩트를 크게 줄이고 이미지 품질을 향상시켜, 상호 학습이 없는 아블레이션 대비 FID에서 2.5점 향상된 것으로 나타났다.
• 아블레이션 연구를 통해 전역 교차 어텐션과 국소 컨볼루션 정렬이 정확한 매칭과 고해상도 합성에 필수적임을 확인했다.