[논문 리뷰] Multi-level Motion Attention for Human Motion Prediction

Wei Mao, Miaomiao Liu외 2명|arXiv (Cornell University)|2021. 06. 17.

Human Pose and Action Recognition참고 문헌 5인용 수 4

한 줄 요약

이 논문은 관절, 신체 부위, 전체 자세 수준에서 현재 운동 맥락을 이전의 부분 시퀀스와 비교함으로써 시간 반복성을 포착하는 다중 수준 운동 어텐션 메커니즘을 제안한다. 이러한 어텐션 유형을 융합하고 가중 가능한 그래프 컨volution 네트워크를 사용함으로써, 재귀 구조나 고정된 시간 수신장이 없는 상태에서 장기적인 운동 패턴을 효과적으로 활용함으로써 Human3.6M, AMASS, 3DPW에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human motion prediction aims to forecast future human poses given a historical motion. Whether based on recurrent or feed-forward neural networks, existing learning based methods fail to model the observation that human motion tends to repeat itself, even for complex sports actions and cooking activities. Here, we introduce an attention based feed-forward network that explicitly leverages this observation. In particular, instead of modeling frame-wise attention via pose similarity, we propose to extract motion attention to capture the similarity between the current motion context and the historical motion sub-sequences. In this context, we study the use of different types of attention, computed at joint, body part, and full pose levels. Aggregating the relevant past motions and processing the result with a graph convolutional network allows us to effectively exploit motion patterns from the long-term history to predict the future poses. Our experiments on Human3.6M, AMASS and 3DPW validate the benefits of our approach for both periodical and non-periodical actions. Thanks to our attention model, it yields state-of-the-art results on all three datasets. Our code is available at https://github.com/wei-mao-2019/HisRepItself.

연구 동기 및 목표

• 오차 누적과 사라짐 기울기 문제로 인해 RNN 기반 모델이 장기적인 운동 의존성을 포착하는 데 한계가 있음을 해결한다.
• 개별 프레임 대비 어텐션 메커니즘이 운동 방향성을 포착하지 못하고 서로 관련 없는 동작 간의 자세 유사성에 민감하여 실패하는 문제를 해결한다.
• 보통의 주기적 동작(예: 걷기)뿐 아니라 복잡한 비주기적 활동(예: 요리하기)에서도 부분 시퀀스 유사성을 활용하여 운동 반복성을 모델링한다.
• 재귀 단위나 고정된 시간 커널에 의존하지 않고, 동적으로 관련된 이전 운동 패턴을 주의 집중할 수 있는 피드포워드 아키텍처를 개발한다.
• 다양한 이전 시퀀스에서 운동 패턴을 학습함으로써, 미리 보지 않은 데이터셋과 더 긴 예측 수평선에서의 일반화 능력과 성능을 향상시킨다.

제안 방법

• 현재 운동 맥락(최근 프레임의 시퀀스)을 개별 프레임이 아닌 이전 운동 부분 시퀀스와 비교하는 운동 어텐션을 도입한다.
• 세 가지 수준의 운동 어텐션을 정의한다: 관절 수준(개별 관절), 신체 부위 수준(그룹화된 관절), 전체 자세 수준(전체 자세)으로, 각각 다른 종류의 운동 반복성을 포착한다.
• 비재귀적이고 컨볼루션 없는 방식으로 시간 정보를 인코딩하기 위해 이산 코사인 변환(DCT)을 사용하여 장거리 시간 모델링을 가능하게 한다.
• 학습 가능한 그래프 컨볼루션 네트워크(GCN)를 사용하여 관절 간의 공간 관계를 모델링하며, 고정된 운동학적 트리 대신 엔드 투 엔드로 학습된 그래프 구조를 사용한다.
• 다양한 수준의 어텐션 출력을 가중 가능한 가중치 메커니즘을 통해 융합하여 현재 맥락에 가장 관련성이 높은 운동 패턴을 적응적으로 선택한다.
• 예측된 관절 위치와 각도에 대한 평균 제곱오차 손실을 사용하여 피드포워드 방식으로 모델을 훈련시킴으로써, 자동적으로 순차적 생성 없이 추론이 가능하게 한다.

실험 결과

연구 질문

• RQ1 부분 시퀀스 유사성 기반의 운동 어텐션은 개별 프레임 기반 어텐션보다 장기적인 인간 운동 예측 성능을 향상시키는가?
• RQ2 관절, 신체 부위, 전체 자세 수준에서 다중 수준의 운동 반복성 모델링이 다양한 운동 유형에서 성능 향상에 기여하는가?
• RQ3 시간 인코딩 방식의 선택(DCT 대비 RNN 또는 컨볼루션)이 예측 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ4 고정된 운동학적 트리 대비 학습 가능한 GCN 인접 행렬을 사용할 경우 성능 향상 정도는 어느 정도인가?
• RQ5 모델은 미세조정 없이도 새로운 데이터셋과 더 긴 예측 수평선에 일반화 가능한가?

주요 결과

• 제안된 방법은 Human3.6M, AMASS, 3DPW에서 최신 기술 수준의 성능을 달성하였으며, 모든 데이터셋에서 이전 최신 기술 수준 모델인 LTD(Mao 등, 2019)를 초월한다.
• 관절, 부위, 자세 수준의 모든 어텐션을 융합한 결과, Human3.6M에서 1000ms 수평선에서 평균 오차를 최대 33.5%까지 감소시켜 가장 우수한 성능을 기록한다.
• 관절 각도 예측에서는 자세 수준과 부위 수준의 어텐션 융합이 가장 낮은 오차를 기록하였으며, 다른 어텐션 유형을 초월하는 성공률가 31.1%에 달한다.
• 미세조정 없이도 새로운 데이터셋에 잘 일반화되며, Human3.6M와 AMASS에서 훈련된 모델이 3DPW에서 강력한 성능을 유지한다.
• 학습 가능한 GCN 인접 행렬을 사용할 경우, 사전 정의된 운동학적 트리 사용 대비 3D 오차를 최대 30%까지 감소시켜 엔드 투 엔드의 구조 학습 중요성을 입증한다.
• 절단 실험 결과, DCT 기반 시간 인코딩과 학습 가능한 GCN이 모두 필수적임을 확인하였다. 둘 중 하나를 제거할 경우, 특히 장수평선 예측에서 성능 저하가 심각하게 발생한다.