[논문 리뷰] Human Mesh Recovery from Monocular Images via a Skeleton-disentangled Representation

Yu Sun, Yun Ye외 4명|arXiv (Cornell University)|2019. 08. 20.

Human Pose and Action Recognition참고 문헌 37인용 수 13

한 줄 요약

이 논문은 단일 영상 및 영상에서의 3D 인간 메시 복원을 위한 스켈레톤 분리 표현 프레임워크를 제안한다. 플러그 가능한 DSD 모듈을 통해 스켈레톤 자세를 몸체 형태 세부 정보에서 분리하고, 비지도 순서 복원을 통한 자기주의 시간적 네트워크(SATN)를 활용하여 최신 기술 수준의 성능을 달성하였으며, Human3.6M에서 기존 방법보다 15.4% MPJPE 및 23.8% PA-MPJPE 향상하였다.

ABSTRACT

We describe an end-to-end method for recovering 3D human body mesh from single images and monocular videos. Different from the existing methods try to obtain all the complex 3D pose, shape, and camera parameters from one coupling feature, we propose a skeleton-disentangling based framework, which divides this task into multi-level spatial and temporal granularity in a decoupling manner. In spatial, we propose an effective and pluggable "disentangling the skeleton from the details" (DSD) module. It reduces the complexity and decouples the skeleton, which lays a good foundation for temporal modeling. In temporal, the self-attention based temporal convolution network is proposed to efficiently exploit the short and long-term temporal cues. Furthermore, an unsupervised adversarial training strategy, temporal shuffles and order recovery, is designed to promote the learning of motion dynamics. The proposed method outperforms the state-of-the-art 3D human mesh recovery methods by 15.4% MPJPE and 23.8% PA-MPJPE on Human3.6M. State-of-the-art results are also achieved on the 3D pose in the wild (3DPW) dataset without any fine-tuning. Especially, ablation studies demonstrate that skeleton-disentangled representation is crucial for better temporal modeling and generalization.

연구 동기 및 목표

• 심각한 자세-형태 모호성과 정보 손실으로 인해 단일 2D 영상에서 3D 인간 메시 복원에 내재된 모호성과 복잡성을 해결하기 위해.
• 공유된 특징 공간에서 3D 자세, 형태, 카메라 파rameter를 강하게 결합한 엔드 투 엔드 방법의 불안정성과 낮은 일반화 능력을 극복하기 위해.
• 스켈레톤 표현을 분리함으로써 더 나은 운동 동역학 학습을 가능하게 하여 단일 영상 시퀀스에서의 시간 모델링을 향상시키기 위해.
• 구조적 개편 없이도 단일 프레임 및 영상 기반 3D 메시 복원에 모두 향상된 성능를 제공하는 경량의 플러그 앤 플레이 모듈을 개발하기 위해.
• 시간 순서 복원을 통한 비지도 시간적 보조 정보를 활용하여 자연스럽지 않은 환경에서도 안정적인 3D 메시 예측을 가능하게 하기 위해.

제안 방법

• 학습 가능한 플러그 가능한 방식으로 스켈레톤 자세 특징을 몸체 형태 및 세부 정보 특징에서 분리하기 위해 이중선형 변환을 사용하는 DSD(스켈레톤을 세부 정보에서 분리하기) 모듈을 도입한다.
• 장거리 시퀀스 모델링을 위한 자기주의 주의 메커니즘과 효율적인 단기 시간 특징 학습을 위한 TCN을 조합한 자기주의 주의 시간 컨볼루션 네트워크(SATN)를 적용한다.
• 시간 순서 뒤섞기와 복원을 기반으로 한 비지도 적대적 훈련 전략을 설계하여 지도 없는 시간적 보조 정보 없이도 운동 동역학을 학습한다.
• DSD 모듈이 안정적이고 분리된 특징 학습을 가능하게 하기 위해 오직 2D 키포인트 보조 정보와 3D 메시 보조 정보만을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.
• DSD 모듈 내에서 이중선형 융합 이전에 스켈레톤 및 세부 정보 특징을 별도로 처리하기 위해 이중 스트림 특징 추출 헤드를 설계한다.
• 프레임 순서 복원을 프리텍스트 작업으로 활용: 뒤섞인 영상 클립을 네트워크에 입력하고, 판별기(discriminator)를 사용해 올바른 시간 순서를 예측하도록 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 스켈레톤 자세를 몸체 형태 세부 정보에서 분리함으로써 단일 영상에서의 3D 인간 메시 복원 정확도와 안정성을 향상시킬 수 있는가?
• RQ2 제안된 DSD 모듈이 특징 결합을 줄이고 다양한 자세 및 형태에서의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 TCN와 결합된 자기주의 주의 메커니즘이 영상 기반 3D 메시 복원에서 장기적인 시간 모델링을 향상시키는 데 효과적인가?
• RQ4 지침 없는 시간 순서 복원이 명시적인 시간 보조 정보 없이도 운동 동역학 학습을 효과적으로 촉진하는가?
• RQ5 스켈레톤 분리가 영상 시퀀스에서의 시간 모델링 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 DSD 모듈은 Human3.6M 데이터셋에서 HMR 대비 MPJPE를 31.6% 감소시키고 PA-MPJPE를 23.7% 감소시켜 엔드 투 엔드 기반선 대비 뚜렷한 향상을 보였다.
• DSD 모듈은 STN 대비 MPJPE 14% 향상 및 PA-MPJPE 27.9% 향상하여 자세와 형태를 분리함으로써 더 나은 메시 복원이 가능함을 확인하였다.
• 단일 프레임 DSD 네트워크에 SATN을 추가하면 Human3.6M에서 MPJPE와 PA-MPJPE가 각각 4.2% 및 7.3% 향상되었으며, 3DPW에서는 더 큰 향상(7.3% PA-MPJPE)을 기록하였다.
• 제거 실험을 통해 스켈레톤 분리가 핵심임을 확인: DSD+TCN에 자기주의 주의 기능이 없을 경우 성능 저하가 발생하지만, 자기주의 주의 기능을 추가하면 이는 반전되고 강력한 장거리 모델링이 가능해진다.
• 전체 모델(DSD+SATN+적대적 훈련)은 Human3.6M에서 백본 기반 기반선 대비 MPJPE 26.6%, PA-MPJPE 27.5% 향상하여 뛰어난 성능를 확보하였다.
• 정성적 및 제거 실험 결과 DSD는 안정적이고 매끄러운 예측을 가능하게 하며 스켈레톤 교체에 적절히 반응함을 입증하여 자세와 형태 세부 정보의 효과적인 분리가 이루어졌음을 보여주었다.