[논문 리뷰] MSR-GCN: Multi-Scale Residual Graph Convolution Networks for Human Motion Prediction

Lingwei Dang, Yongwei Nie외 3명|arXiv (Cornell University)|2021. 08. 16.

Human Pose and Action Recognition참고 문헌 48인용 수 14

한 줄 요약

이 논문은 3D 인간 운동 예측을 위한 다중 척도 잔차 그래프 컨볼루션 네트워크인 MSR-GCN을 제안한다. 이는 계층적 자세 추상화와 다양한 척도 간 양방향 GCN 특징 추출을 활용한다. 중간 지도 학습과 잔차 학습을 결합하여 Human3.6M 및 CMU Mocap 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 장기적인 미래 자세 예측에서 이전 방법들을 능가한다.

ABSTRACT

Human motion prediction is a challenging task due to the stochasticity and aperiodicity of future poses. Recently, graph convolutional network has been proven to be very effective to learn dynamic relations among pose joints, which is helpful for pose prediction. On the other hand, one can abstract a human pose recursively to obtain a set of poses at multiple scales. With the increase of the abstraction level, the motion of the pose becomes more stable, which benefits pose prediction too. In this paper, we propose a novel Multi-Scale Residual Graph Convolution Network (MSR-GCN) for human pose prediction task in the manner of end-to-end. The GCNs are used to extract features from fine to coarse scale and then from coarse to fine scale. The extracted features at each scale are then combined and decoded to obtain the residuals between the input and target poses. Intermediate supervisions are imposed on all the predicted poses, which enforces the network to learn more representative features. Our proposed approach is evaluated on two standard benchmark datasets, i.e., the Human3.6M dataset and the CMU Mocap dataset. Experimental results demonstrate that our method outperforms the state-of-the-art approaches. Code and pre-trained models are available at https://github.com/Droliven/MSRGCN.

연구 동기 및 목표

• 자세 시계열의 확률성과 비주기성에 기인한 장기적 인간 운동 예측 과제를 해결하기 위해.
• 관절의 다중 척도 추상화를 통해 인간 자세의 계층적이고 맥락적인 관계를 모델링하기 위해.
• 학습 중 다중 척도에서 중간 지도 학습을 적용하여 특징 표현을 향상시키기 위해.
• 입력 자세와 목표 자세 간 잔차를 학습하는 잔차 GCN 블록을 통해 예측 정확도를 향상시키기 위해.
• U-Net 유사한 다중 척도 아키텍처와 양방향 GCN 처리의 효과를 입증하기 위해.

제안 방법

• 이 방법은 미세한 척도에서 군집된 관절을 더 거시적인 자세로 점진적으로 추상화하는 다중 척도 아키텍처를 사용하여, 미세에서 거시로 향하는 내림차순 경로를 형성한다.
• 각 척도에서 공간-시간 특징을 추출하기 위해 일련의 그래프 컨볼루션 네트워크(GCNs)를 사용하며, 입력 자세와 출력 자세 사이에 잔차 연결을 구현한다.
• 역방향 상행 경로를 통해 거시적 척도에서 미세 척도로 특징을 처리함으로써 맥락 기반 정교화를 가능하게 한다.
• 모든 척도에서 중간 지도 학습을 적용하여 더 표현력 있는 특징 학습을 유도한다.
• 모든 척도에서 예측된 자세에 대한 L2 손실을 사용하여 엔드 투 엔드로 네트워크를 학습하며, 절대 자세가 아닌 자세 차이를 예측하는 잔차 학습을 적용한다.
• 추상화를 위한 관절 군집 전략은 해부학적 근접성에 기반한 수동 설계이며, 아블레이션 연구를 통해 그 영향력을 검증하였다.

실험 결과

연구 질문

• RQ1 다중 척도 자세 추상화가 운동 패턴의 안정성을 높여 장기적 인간 운동 예측을 향상시킬 수 있는가?
• RQ2 미세에서 거시로, 거시에서 미세로의 양방향 특징 추출이 운동 예측을 위한 GCN의 특징 표현을 향상시키는가?
• RQ3 다중 척도에서의 중간 지도 학습이 예측 정확도 향상에 얼마나 효과적인가?
• RQ4 잔차 GCN 블록이 완전 연결층 대비 운동 예측 성능에 미치는 영향은 무엇인가?
• RQ5 다중 척도 관절 군집 전략의 선택에 따라 성능이 얼마나 민감하게 영향을 받는가?

주요 결과

• MSR-GCN은 Human3.6M 및 CMU Mocap 데이터셋에서 최신 기술 수준 성능을 달성하며, 장기적인 미래 자세 예측에서 기존 SOTA 방법들을 능가한다.
• 아블레이션 연구 결과, 중간 지도 학습을 제거할 경우 성능 저하가 발생함을 확인하여, 강력한 특징 학습을 위해 필수적임을 입증한다.
• 잔차 GCN을 완전 연결층으로 대체할 경우 성능 저하가 심각하게 발생함을 확인하여, 뼈대 운동역학을 모델링하는 데 GCN의 중요성을 입증한다.
• 4개 척도(25-12-7-4개 관절)를 가진 다중 척도 아키텍처가 가장 우수한 성능을 보였으며, 3개 이하로 줄일 경우 성능 저하가 발생한다.
• 기본 관절 군집 전략(해부학적 근접성 기반)은 CMU Mocap 데이터셋에서 무작위 및 기타 군집 전략보다 우수하며, 평균 오차 37.28을 기록하여 무작위 변형의 40.99–47.04보다 우수하다.
• 시각화 결과 MSR-GCN이 아블레이션 변종보다 더 정확하고 안정적인 운동 시퀀스를 생성함을 확인하였으며, 특히 장기 예측 시점에서 두드러진 성능 향상을 보였다.