[논문 리뷰] Motion Prediction Using Temporal Inception Module

Tim Lebailly, Sena Kiciroglu외 3명|arXiv (Cornell University)|2020. 10. 06.

Human Pose and Action Recognition참고 문헌 34인용 수 7

한 줄 요약

이 논문은 입력 시퀀스 길이에 비례하는 커널 크기를 가진 합성곱 필터를 사용하여 인간 운동 궤적을 다중 시간 스케일에서 인코딩하는 시간 인셉션 모듈(TIM)을 제안한다. 이는 장기 및 단기 운동 예측을 향상시킨다. 이러한 다중 스케일 임베딩을 그래프 합성곱 신경망(GCN)과 조합함으로써, Human3.6M 및 CMU Mocap 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 특히 1000ms까지의 장기 예측에서 향상된다.

ABSTRACT

Human motion prediction is a necessary component for many applications in robotics and autonomous driving. Recent methods propose using sequence-to-sequence deep learning models to tackle this problem. However, they do not focus on exploiting different temporal scales for different length inputs. We argue that the diverse temporal scales are important as they allow us to look at the past frames with different receptive fields, which can lead to better predictions. In this paper, we propose a Temporal Inception Module (TIM) to encode human motion. Making use of TIM, our framework produces input embeddings using convolutional layers, by using different kernel sizes for different input lengths. The experimental results on standard motion prediction benchmark datasets Human3.6M and CMU motion capture dataset show that our approach consistently outperforms the state of the art methods.

연구 동기 및 목표

• 입력 시퀀스의 다양한 시간 스케일을 활용하여 인간 운동 예측을 향상시키기 위해.
• 기존의 RNN 및 DCT 기반 방법이 장기 운동 패턴을 적응적으로 인코딩하지 못하는 한계를 해결하기 위해.
• 모든 동작에 대해 동작별 튜닝 없이도 학습 가능한 종단 간(end-to-end) 틀을 설계하기 위해.
• 최근의 고주파 동역학과 이전의 저주파 운동 패턴을 모두 통합하여 장기 예측의 성능을 향상시키기 위해.

제안 방법

• 시간 인셉션 모듈(TIM)은 하위시퀀스 길이 $M_j$ 에 비례하는 커널 크기를 가진 다중 합성곱 필터를 적용하여 다양한 시간 스케일에서 운동을 캡처한다.
• 입력 시퀀스는 길이가 변하는 하위시퀀스($M_j$)로 분할되며, 각각은 전용 합성곱 필터를 통해 독립적으로 처리되어 다중 스케일 임베딩을 생성한다.
• 다양한 시간 스케일에서 유도된 임베딩은 연결되어 그래프 합성곱 신경망(GCN)에 입력되어 운동 예측을 수행한다.
• 순서 기반 손실(sequence-to-sequence loss)을 사용하여 종단 간으로 학습되며, 훈련 안정성과 장기 예측 성능 향상을 위해 잔차 연결(residual connections)이 사용된다.
• 커널 크기는 입력 길이에 비례하여 스케일링된다(예: 커널 크기 ~$M_j/3$)로, 각 시간 스케일에 적절한 수신 필드를 보장한다.
• 이 틀은 동작에 관계없이 일반화되며, 재학습 없이 다양한 운동 유형에 대해 적용 가능하다.

실험 결과

연구 질문

• RQ1 고정된 수신 필드를 가진 모델을 초월하여, 다중 스케일 시간 인코딩이 장기 인간 운동 예측을 향상시킬 수 있는가?
• RQ2 입력 길이에 비례하는 커널 크기의 선택이 다양한 시간 예측 수준에서 정확도에 어떤 영향을 미치는가?
• RQ3 단기 고주파 동역학과 장기 저주파 운동 패턴을 모두 통합하면 일반화 성능이 향상되는가?
• RQ4 일괄적인 아키텍처가 다양한 운동 유형에서 동작별 또는 DCT 기반 베이스라인을 초월할 수 있는가?

주요 결과

• TIM 프레임워크는 Human3.6M 데이터셋에서 최신 기술(SOTA) 성능을 달성하였으며, 1000ms 예측 시 평균 오차 55.7mm를 기록하여 이전 방법들을 능가한다.
• 고정된 커널 크기보다 비례적 커널 크기(예: ~$M_j/3$)를 사용할 경우 성능 향상이 뚜렷하게 나타나며, 특히 장기 예측에서 유의미한 개선이 있다.
• 5-10-15 모델(하위시퀀스 길이가 각각 5, 10, 15인 경우)은 1000ms에서 'Discussion' 동작에 대해 97.1mm 오차를 기록하여 5-10 모델(94.6mm)과 베이스라인을 크게 앞서간다.
• 5-10-15 모델은 5-10 모델 대비 평균 5.1mm의 장기 예측 정확도 향상을 보이며, 더 긴 컨텍스트의 이점이 있음을 확인한다.
• 제거 실험(ablation study) 결과 비례적 커널 크기와 길이가 변하는 하위시퀀스가 성능에 결정적인 영향을 미치며, 특히 1000ms에서 두드러진다.
• 모델은 모든 동작에서 뛰어난 성능를 보이며, 동작에 관계없이 일반화 가능한 능력을 입증한다.