[논문 리뷰] Convolutional Sequence to Sequence Model for Human Dynamics

Chen Li, Zhen Zhang외 2명|arXiv (Cornell University)|2018. 05. 02.

Human Pose and Action Recognition참고 문헌 18인용 수 30

한 줄 요약

이 논문은 인간 운동 예측을 위한 컨볼루션 신경망 기반의 시퀀스-투-시퀀스 모델을 제안하며, 장기 및 단기 컨볼루션 인코더를 갖춘 계층적 인코더-디코더 아키텍처를 통해 공간-시간 상관관계를 포착한다. 이 방법은 RNN 기반 모델에 비해 장기 예측에서 평균 자세 문제를 완화하고 Human3.6M 및 CMU Mocap 데이터셋에서 더 현실적인 운동 시퀀스를 생성함으로써 최신 기술을 초월한다.

ABSTRACT

Human motion modeling is a classic problem in computer vision and graphics. Challenges in modeling human motion include high dimensional prediction as well as extremely complicated dynamics.We present a novel approach to human motion modeling based on convolutional neural networks (CNN). The hierarchical structure of CNN makes it capable of capturing both spatial and temporal correlations effectively. In our proposed approach,a convolutional long-term encoder is used to encode the whole given motion sequence into a long-term hidden variable, which is used with a decoder to predict the remainder of the sequence. The decoder itself also has an encoder-decoder structure, in which the short-term encoder encodes a shorter sequence to a short-term hidden variable, and the spatial decoder maps the long and short-term hidden variable to motion predictions. By using such a model, we are able to capture both invariant and dynamic information of human motion, which results in more accurate predictions. Experiments show that our algorithm outperforms the state-of-the-art methods on the Human3.6M and CMU Motion Capture datasets. Our code is available at the project website.

연구 동기 및 목표

• RNN 기반 인간 운동 예측 모델에서 흔히 발생하는 장기 예측 시 평균 자세 문제를 해결한다.
• 원거리 및 근접한 시간적 의존성을 모두 포착하여 장기 운동 예측 정확도를 향상시킨다.
• 걷기나 달리기 중 같은 동기 운동을 포함한 신체 부위 간 복잡한 공간-시간 상관관계를 모델링한다.
• 순환 신경망 대신 컨볼루션 신경망을 사용하여 더 견고하고 현실적인 인간 운동 예측 프레임워크를 개발한다.
• 특히 점프나 달리기와 같은 도전적인 동작에서 표준 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• 입력 운동 시퀀스에서 장기적 시간적 의존성을 추출하기 위해 장기 컨볼루션 인코더를 사용한다.
• 최근 프레임의 슬라이딩 윈도우 내에서 국소적 시간 역동성을 포착하기 위해 단기 컨볼루션 인코더를 사용한다.
• 장기 및 단기 은닉 표현을 통합하여 미래 운동 프레임을 생성하는 공간 디코더를 구성한다.
• 신체 관절 간 공간 관계를 효과적으로 모델링하기 위해 컨볼루션 인코더 모듈에 2×7 사각형 커널을 적용한다.
• 추론 복잡도를 증가시키지 않으면서 생성된 운동 시퀀스의 타당성을 향상시키기 위해 훈련 중에 적대적 정규화 기법을 통합한다.
• 계산 비용과 예측 정확도의 균형을 맞추기 위해 구성 가능한 인지 범위(C)를 갖춘 윈도우 기반 디코딩 전략을 사용한다.

실험 결과

연구 질문

• RQ1 컨볼루션 기반의 시퀀스-투-시퀀스 모델이 RNN 기반 모델보다 장기 인간 운동 예측에서 승리할 수 있는가?
• RQ2 계층적 컨볼루션 인코더의 사용이 인간 운동의 공간-시간 상관관계 모델링에 기여하는가?
• RQ3 장기 인코더가 장기 예측에서 평균 자세 문제를 어느 정도 완화하는가?
• RQ4 다양한 커널 형태(예: 2×7 대비 4×4)가 공간-시간 특징 학습 성능에 어떤 영향을 미치는가?
• RQ5 정확도와 계산 효율성 측면에서 단기 인코더의 최적 윈도우 크기는 무엇인가?

주요 결과

• Human3.6M에서 1000ms 예측 시 평균 테스트 오차가 RRNN 대비 12.5% 감소하여 1.77ms로 향상되었으며, RRNN의 1.88ms를 상회한다.
• CMU Mocap 데이터셋에서 1000ms 예측 시 평균 오차는 1.55ms를 기록하여 RRNN의 1.67ms를 능가한다.
• 장기 예측에서 평균 자세로 수렴하는 것을 방지하며, 달리기나 점프와 같은 복잡한 동작에서도 운동 역학을 유지한다.
• 제거 실험 결과 장기 인코더를 제거하면 1000ms 시점에서 오차가 0.11ms 증가하여 장기 의존성 학습에서의 핵심적 역할을 확인한다.
• 2×7 커널이 모든 시간 단계에서 가장 우수한 성능(80ms 시점에서 0.38ms)을 기록하여 4×4(0.41ms) 및 7×2(0.40ms) 커널을 압도한다.
• 적대적 정규화 기법은 성능을 약간 향상시키며, 훈련 전용으로 사용되어 추론 효율성을 유지한다.