[논문 리뷰] Human Motion Prediction via Learning Local Structure Representations and Temporal Dependencies

Xiao Guo, Jongmoo Choi|arXiv (Cornell University)|2019. 02. 20.

Human Pose and Action Recognition참고 문헌 28인용 수 13

한 줄 요약

이 논문은 인간 운동 예측 성능을 향상시키기 위해 신체 부위(예: 팔, 몸통 등)에서 국소적 구조 표현을 학습하고 시간적 의존성을 모델링하는 새로운 딥러닝 아키텍처인 SkelNet과 Skel-TNet을 제안한다. SkelNet은 구성 요소별 브랜치를 사용하여 국소적 공간 특징을 추출하는 반면, Skel-TNet은 SkelNet과 GRU 기반 RNN, 그리고 병합 네트워크를 결합하여 공간적 및 시간적 동역학을 동시에 모델링하며, Human3.6M 및 CMU Mocap 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Human motion prediction from motion capture data is a classical problem in the computer vision, and conventional methods take the holistic human body as input. These methods ignore the fact that, in various human activities, different body components (limbs and the torso) have distinctive characteristics in terms of the moving pattern. In this paper, we argue local representations on different body components should be learned separately and, based on such idea, propose a network, Skeleton Network (SkelNet), for long-term human motion prediction. Specifically, at each time-step, local structure representations of input (human body) are obtained via SkelNet's branches of component-specific layers, then the shared layer uses local spatial representations to predict the future human pose. Our SkelNet is the first to use local structure representations for predicting the human motion. Then, for short-term human motion prediction, we propose the second network, named as Skeleton Temporal Network (Skel-TNet). Skel-TNet consists of three components: SkelNet and a Recurrent Neural Network, they have advantages in learning spatial and temporal dependencies for predicting human motion, respectively; a feed-forward network that outputs the final estimation. Our methods achieve promising results on the Human3.6M dataset and the CMU motion capture dataset.

연구 동기 및 목표

• 전체 인간 자세 모델링의 한계를 해결하기 위해, 다양한 신체 구성 요소(팔, 몸통 등)가 각각 고유한 운동 패턴을 가짐을 인식함으로써 인간 운동 예측 성능을 향상시키기 위함.
• 전체 자세를 단일 입력으로 간주하는 대신, 구성 요소별 국소적 공간 표현을 학습하여 장기 예측 성능을 향상시키기 위함.
• 다단계 프레임워크를 통해 SkelNet의 공간 표현을 GRU 기반 RNN을 통한 시간 모델링과 통합함으로써 단기 예측 성능을 향상시키기 위함.
• 국소적 구조 학습과 시간 모델링을 분리함으로써 운동 예측 작업에서 더 나은 일반화 및 강인성을 달성할 수 있음을 입증하기 위함.

제안 방법

• SkelNet은 인간 자세를 겹치지 않는 다섯 개의 신체 부위(예: 왼쪽 팔, 오른쪽 팔, 몸통, 왼쪽 다리, 오른쪽 다리)로 나누며, 각 부위는 전용의 구성 요소별 브랜치를 통해 국소적 공간 표현을 학습한다.
• 각 구성 요소별 브랜치는 공유 레이어, 잔차 연결, 드롭아웃, Leaky ReLU 활성화 함수를 사용하여 관절 각도에서 강건한 국소적 특징을 추출한다.
• 공유 레이어는 모든 신체 부위의 국소 표현을 집계하여 다음 타임스텝의 자세를 예측하며, 전체 인간 자세에 대한 통합 출력을 형성한다.
• Skel-TNet은 SkelNet을 통해 공간 표현 학습을 수행하고, C-RNN로 불리는 GRU 기반 RNN을 사용하여 순차적 프레임 간 시간적 의존성을 모델링한다.
• 병합 네트워크는 피드포워드 네트워크로 구현되어 SkelNet과 C-RNN의 출력을 통합하여 최종 예측 운동 시퀀스를 생성한다.
• 재구성 손실과 샘플링 기반 손실의 조합을 통해 엔드 투 엔드로 네트워크를 훈련시켜 훈련 안정성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 자세 모델링에 비해 개별 신체 부위에서 국소적 구조 표현을 학습하는 것이 장기 인간 운동 예측 성능을 향상시키는가?
• RQ2 구성 요소별 공간 표현과 순환 시간 모델링을 결합함으로써 단기 운동 예측 정확도가 향상되는가?
• RQ3 특히 구성 요소별 브랜치를 갖춘 SkelNet의 아키텍처 설계가 노이즈 조건 하에서 예측 성능와 강인성에 어떤 영향을 미치는가?
• RQ4 Skel-TNet에서 SkelNet과 GRU 기반 RNN을 통합함으로써 다양한 인간 활동 간 일반화 성능이 얼마나 향상되는가?
• RQ5 신체 부위를 그룹화하거나 일부 구성 요소를 제거하는 등의 아키텍처 선택이 운동 예측 프레임워크 성능에 미치는 영향은 어떠한가?

주요 결과

• SkelNet은 Human3.6M 데이터셋에서 0.49 mof, CMU Mocap 데이터셋에서 0.60 mof의 평균값으로 장기 예측에서 최신 기준 성능을 달성한다.
• 제거 실험 결과, 구성 요소별 브랜치가 성능 향상에 크게 기여함을 확인하였으며, 모든 신체 부위와 전체 자세의 오차가 비브랜치 버전 대비 감소하였다.
• Skel-TNet는 단기 예측에서 베이스라인을 능가하며, 공동 훈련 시 Human3.6M에서 0.73 mof, CMU Mocap에서 0.55 mof의 성능을 기록하였다.
• 병합 네트워크(wo M)나 시간 성분(wo T)을 제거할 경우 성능 저하가 발생함을 확인하였으며, 이는 Skel-TNet에서 각 구성 요소의 필요성을 입증한다.
• Gaussian 노이즈(분산 최대 0.5) 조건 하에서도 SkelNet은 일관된 성능을 유지하며, CMU Mocap에서는 CSS보다 略로 더 강인함을 보였다.
• 다섯 개의 독립적 브랜치(SkelNet) 아키텍처가 왼쪽+오른쪽 팔 또는 다리 조합(Skel_LR, Skel_UD)보다 성능이 뛰어나, 더 세분화된 구성 요소 분리가 표현 학습을 향상시킴을 시사한다.