[논문 리뷰] Human Motion Anticipation with Symbolic Label

Julian Tanke, Andreas Weber⋆외 1명|arXiv (Cornell University)|2019. 12. 12.

Human Pose and Action Recognition참고 문헌 31인용 수 6

한 줄 요약

이 논문은 과거 운동과 예측된 의도를 활용하여 향후 자세를 생성하기 이전에 기호적 동작 레이블(예: 걷기, 서기)을 예측하는 새로운 인간 운동 예측 프레임워크를 제안한다. 미래 기호적 레이블에 조건을 부여함으로써, Human 3.6M 데이터셋에서 최대 4초까지의 장기적 인간 운동 예측에서 최신 기술(SOTA) 성능을 달성하며, 평균 자세 열화를 크게 줄이고 운동의 매끄러움을 향상시킨다.

ABSTRACT

Anticipating human motion depends on two factors: the past motion and the person's intention. While the first factor has been extensively utilized to forecast short sequences of human motion, the second one remains elusive. In this work we approximate a person's intention via a symbolic representation, for example fine-grained action labels such as walking or sitting down. Forecasting a symbolic representation is much easier than forecasting the full body pose with its complex inter-dependencies. However, knowing the future actions makes forecasting human motion easier. We exploit this connection by first anticipating symbolic labels and then generate human motion, conditioned on the human motion input sequence as well as on the forecast labels. This allows the model to anticipate motion changes many steps ahead and adapt the poses accordingly. We achieve state-of-the-art results on short-term as well as on long-term human motion forecasting.

연구 동기 및 목표

• 기존 모델이 오차 누적으로 인해 평균 자세로 수렴하는 문제를 해결하기 위해 장기적 인간 운동 예측에 도전한다.
• 더 높은 수준의 의도를 기호적 동작 레이블을 통해 통합함으로써 운동 예측을 향상시키며, 전체 3D 자세보다 예측하기 쉬운 레이블을 활용한다.
• 미래 행동을 예측하여 운동 변화를 사전에 인지함으로써, 현실적인 자세 생성을 가능하게 하기 위해 운동을 오래 전에 예측한다.
• 기호적 표현이 운동 예측 성능에 미치는 영향을 평가하며, 지도 학습 및 비지도 레이블 추출 모두를 포함한다.
• 기호적 레이블 예측이 적대적 훈련과 상호보완적임을 입증하며, 성능 향상에 기여함을 보여준다.

제안 방법

• 모델은 관측된 운동 시퀀스에서 과거 자세를 입력으로 사용하여 기호적 동작 레이블을 예측하기 위해 순환 시퀀스-투-시퀀스 네트워크를 사용한다.
• 기호적 레이블 추출 모듈은 관측된 자세에서 각 프레임에 대한 동작 카테고리 확률을 예측하여 엔드 투 엔드 훈련을 가능하게 한다.
• 미래 기호적 레이블은 과거 자세와 함께 결합되어 별도의 순환 인코더(자세 및 레이블 인코더)를 통해 인코딩되어 컨텍스트 벡터를 형성한다.
• 순환 자세 생성기는 과거 자세 시퀀스와 과거 및 미래 기호적 레이블에 조건을 부여하여 미래 자세를 생성함으로써, 사전 예측 기반 운동 합성을 가능하게 한다.
• 훈련 중에는 초기 예측을 안정화하고 불연속성을 줄이기 위해 웜업 전략(선생 강요)을 적용한다.
• 프레임워크는 기호적 표현 학습을 위해 지도 레이블(11개의 인간 레이블링된 동작)과 비지도 클러스터링(k=11에서 32까지)을 모두 지원한다.

실험 결과

연구 질문

• RQ1 직접 자세 회귀와 비교해 기호적 동작 레이블을 예측하는 것이 장기적 인간 운동 예측을 향상시키는가?
• RQ2 미래 기호적 레이블의 포함 여부가 생성된 운동 시퀀스의 현실성과 매끄러움에 어떤 영향을 미치는가?
• RQ3 기호적 표현의 품질(예: k=11 vs. k=32)이 운동 예측 성능에 어떤 영향을 미치는가?
• RQ4 특히 장기 예측(예: 4초)에서 시간 간격에 따라 모델의 성능은 어떻게 변하는가?
• RQ5 기호적 레이블 예측이 운동 생성에서 적대적 훈련과 얼마나 상호보완적인가?

주요 결과

• 모델은 Human 3.6M 데이터셋에서 최대 4초까지의 운동 예측에서 최신 기술 성능을 달성하며, 기존 방법보다 장기 예측에서 뛰어난 성능을 보였다.
• 25프레임의 예측 수준에서 인간 레이블링된 동작을 사용할 경우 기호적 레이블 예측 정확도가 78%에 도달했다.
• 비지도 클러스터링(k=11)을 사용할 경우 정확도가 67%로 떨어지지만, 장기 예측에서는 여전히 우수한 성능 유지를 보였다.
• 모델은 평균 자세 열화를 크게 줄였다: 기호적 레이블이 없을 경우 약 1초 후에 운동이 정지하여 평균 자세로 수렴하지만, 기호적 레이블이 있을 경우 몇 초 동안도 일관성 있는 운동 유지가 가능했다.
• 절단 실험 결과, 레이블 인코딩과 자세 인코딩 모두 필수적임을 확인했다. 둘 중 하나를 제거하면 성능 저하가 발생하며, 레이블을 완전히 생략할 경우 가장 열악한 결과를 보였다.
• 더 높은 웜업 기간(w ≥ 1)일수록 장기 예측 성능 향상이 관찰되어, 웜업 전략이 안정된 운동 상태에 빠르게 수렴하는 데 기여함을 시사한다.