[논문 리뷰] Predicting Long-Term Skeletal Motions by a Spatio-Temporal Hierarchical Recurrent Network

Junfeng Hu, Zhencheng Fan외 2명|ArXiv.org|2019. 11. 06.

Human Pose and Action Recognition참고 문헌 30인용 수 8

한 줄 요약

이 논문은 리 대수 기반 잠재 벡터와 새로운 양자화된 뼈무게 손실을 갖춘 구조적 스택 LSTM 디코더를 사용하여 3D 뼈격운동에서 세밀한 공간적 및 시간적 의존성을 모델링하는 시공간 계층적 순환 신경망을 제안한다. 이 방법은 장기적인 뼈격운동 예측에서 최신 기술을 뛰어넘으며, 정체되거나 비현실적인 운동으로 수렴하지 않고도 인간다운 동적 자세를 장기간 유지한다.

ABSTRACT

The primary goal of skeletal motion prediction is to generate future motion by observing a sequence of 3D skeletons. A key challenge in motion prediction is the fact that a motion can often be performed in several different ways, with each consisting of its own configuration of poses and their spatio-temporal dependencies, and as a result, the predicted poses often converge to the motionless poses or non-human like motions in long-term prediction. This leads us to define a hierarchical recurrent network model that explicitly characterizes these internal configurations of poses and their local and global spatio-temporal dependencies. The model introduces a latent vector variable from the Lie algebra to represent spatial and temporal relations simultaneously. Furthermore, a structured stack LSTM-based decoder is devised to decode the predicted poses with a new loss function defined to estimate the quantized weight of each body part in a pose. Empirical evaluations on benchmark datasets suggest our approach significantly outperforms the state-of-the-art methods on both short-term and long-term motion prediction.

연구 동기 및 목표

• 모델이 정체되거나 인간다운 자세가 아닌 자세로 수렴하는 장기적인 뼈격운동 예측 문제를 해결하기 위해.
• 인간 운동 시퀀스에서 국소적 및 전반적인 시공간 의존성을 명시적으로 모델링하기 위해.
• 관절과 뼈 간의 세밀한 공간적 관계를 통합하여 예측의 안정성과 현실성 향상하기 위해.
• 장기 예측에서의 첫 프레임 불일치와 오차 누적 감소시키기 위해.
• 해부학적 제약 조건과 양자화된 뼈무게를 코딩하는 손실 함수 개발하기 위해.

제안 방법

• 자세 구성과 그 의존성을 모델링하기 위해 시간적 및 공간적 인코딩 분지가 별도로 존재하는 계층적 순환 아키텍처를 도입한다.
• 신체 부위 간의 공간적 및 시간적 관계를 동시에 표현하기 위해 리 대수에서 유도된 잠재 벡터를 사용한다.
• 스핀, 팔, 다리를 조율된 방식으로 모델링하는 점진적 방식으로 자세를 생성하는 구조적 스택 LSTM 디코더를 활용한다.
• 각 신체 부위의 위치와 길이에 기반하여 양자화된 무게를 추정하는 새로운 손실 함수를 제안하여 오차 누적 감소시킨다.
• 계층적 특징 학습을 가능하게 하기 위해 시간 상태(g_t)와 공간 상태(g_s)를 추출하는 이중 분지 인코더를 활용한다.
• 해부학적 타당성을 유지하기 위해 제안된 손실과 함께 평균 절대 오차(MAE)를 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 장기적인 3D 뼈격운동 시퀀스에서 국소 관절 의존성과 전반적인 운동 패턴을 효과적으로 포착할 수 있는가?
• RQ2 장기 예측에서 오차 전파를 줄이고 해부학적 제약 조건을 잘 유지하는 데 가장 적합한 손실 함수 설계는 무엇인가?
• RQ3 계층적 순환 구조는 표준 RNN 및 LSTM보다 장시간에 걸쳐 동적이고 인간다운 운동을 유지하는 데에서 우월한가?
• RQ4 반복적인 운동(예: 걷기)과는 대조적으로 다양한 비반복적 인간 운동(예: 손 자세 만들기, 식사)에 대해 모델의 성능은 어떠한가?
• RQ5 공간적 상태 표현과 시간적 상태 표현은 예측 정확도 향상에 독립적으로 기여하는가?

주요 결과

• H3.6M 데이터셋에서 제안된 방법은 모든 장기 예측 수평(80ms에서 1000ms)에서 가장 낮은 MAE를 기록하며, ERD, LSTM-3LR, RES-GRU, HMR 및 정지 속도 기준선을 모두 능가한다.
• 더 도전적인 마우스 데이터셋에서 모델은 여덟 프레임 중 여섯 프레임에서 최고 성능을 기록했으며, 320ms에서 다음으로 우수한 방법보다 12% 향상된 성능을 보였다.
• 제거 실험 결과, 제안된 손실 함수는 H3.6M에서 L2 손실 대비 5.5%의 MAE 감소와 HMR 손실 대비 4.5%의 MAE 감소를 확인했다.
• 공간 상태 표현(g_s)을 제거하면 성능 저하가 가장 심각하게 발생하여, 세밀한 관절 의존성 포착에 있어 그들의 핵심적 역할을 확인했다.
• 구조적 스택 LSTM 디코더를 표준 이중층 LSTM 디코더로 대체하면 성능이 떨어지며, 점진적이고 계층적인 자세 생성 방식의 우수성을 확인했다.
• 정성적 결과에서는 오직 제안된 모델만 복잡한 운동(손 자세 만들기 등)에서 일관되게 동적이고 인간다운 자세를 생성하며, 정체되거나 왜곡된 출력을 피하는 것으로 나타났다.