[논문 리뷰] Deep representation learning for human motion prediction and classification

Judith Bütepage, Michael J. Black외 2명|arXiv (Cornell University)|2017. 02. 24.

Human Pose and Action Recognition참고 문헌 21인용 수 42

한 줄 요약

이 논문은 대규모 모션 캡처 데이터셋에서 3D 인간 운동의 일반적이고 저차원적인 표현을 학습하는 뱀소형 구조를 가진 딥 피드포워드 오토인코더를 제안한다. 이는 다양한 미리보지 않은 동작에 대해 강력한 예측 및 분류를 가능하게 하며, 동작별 특화 보정 없이도 최신의 순환 모델을 능가한다. 이는 예측 성능과 일반화 능력이 뛰어나며, 결손된 신체 부위 데이터에 대해서도 강건성을 보이며, 이동성과 강건성을 확보한다.

ABSTRACT

Generative models of 3D human motion are often restricted to a small number of activities and can therefore not generalize well to novel movements or applications. In this work we propose a deep learning framework for human motion capture data that learns a generic representation from a large corpus of motion capture data and generalizes well to new, unseen, motions. Using an encoding-decoding network that learns to predict future 3D poses from the most recent past, we extract a feature representation of human motion. Most work on deep learning for sequence prediction focuses on video and speech. Since skeletal data has a different structure, we present and evaluate different network architectures that make different assumptions about time dependencies and limb correlations. To quantify the learned features, we use the output of different layers for action classification and visualize the receptive fields of the network units. Our method outperforms the recent state of the art in skeletal motion prediction even though these use action specific training data. Our results show that deep feedforward networks, trained from a generic mocap database, can successfully be used for feature extraction from human motion data and that this representation can be used as a foundation for classification and prediction.

연구 동기 및 목표

• 정의된 동작 집합에 국한되지 않는 일반화 가능한 비지도적 인간 운동 표현을 개발하는 것.
• 대규모 모션 캡처 데이터 코퍼스를 기반으로 훈련된 일반 모델을 사용해 3D 인간 운동의 정확한 장기 예측을 가능하게 하는 것.
• 새로운 동작에 대해 제로샷 분류를 지원하고, 데이터 결손 조건에서도 강건한 추론을 가능하게 하는 특징 표현을 만드는 것.
• 인간 운동 역학을 모델링하기 위해 구조적 사전 지식(시간적 컨볼루션 및 계층적 그래프)을 갖춘 완전 연결 네트워크의 효과를 조사하는 것.
• 피드포워드 네트워크가 순환 모델보다 예측 성능이 뛰어나면서도 저비용 계산 복잡도를 유지할 수 있음을 보여주는 것.

제안 방법

• 고정 길이의 과거 자세 창에서 미래 3D 관절 자세를 재구성하도록 뱀소형 레이어를 가진 딥 오토인코더를 훈련한다.
• 순환 요소가 없고, 고정된 시간적 컨텍스트 창을 통해 장기적 의존성을 캡처하는 완전 연결 인코더-디코더 아키텍처를 사용한다.
• 세 가지 변형을 탐색한다: 대칭 네트워크, 시간적 컨볼루션 인코더(C-TE), 및 관절 간 상관관계를 모델링하는 계층적 그래프 기반 인코더(H-TE).
• 계층적 구조는 관절을 완전 연결 그래프로 연결함으로써 인간 신체의 해부학적 토폴로지를 존중하여 표현한다.
• 모델은 CMU Mocap 데이터셋에서 엔드 투 엔드로 훈련되며, 뱀소형 레이어에서 압축되고 분리된 표현을 학습한다.
• 중간 레이어의 특징 표현을 사용해 동작 분류를 수행하고, 수신 영역을 시각화하여 학습된 유닛의 의미를 해석한다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 모션 캡처 데이터셋에서 딥 피드포워드 오토인코더가 일반화 가능한 저차원의 인간 운동 표현을 학습할 수 있는가?
• RQ2 피드포워드 네트워크의 성능이 장기적 인간 운동 예측에서 순환 모델(LSTM 등)과 비교해 어떻게 되는가?
• RQ3 학습 데이터에 포함되지 않은 새로운 동작과 새로운 주체에 대해 학습된 표현이 얼마나 일반화되는가?
• RQ4 입력 데이터에 결손이 있을 경우(예: 오른팔 또는 왼다리), 모델이 예측 과정에서 결손된 부위 자세를 복원할 수 있는가? 이는 모델의 강건성을 시사한다.
• RQ5 시간적 컨볼루션과 계층적 그래프 연결이라는 서로 다른 구조적 사전 지식이 학습된 운동 표현의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 피드포워드 오토인코더는 동작별 특화 보정 없이도 최신의 순환 모델을 능가하는 3D 인간 운동 예측 성능을 보였다.
• 모델은 미리보지 않은 동작과 주체로도 잘 일반화되어 다양한 운동 패턴 간 강력한 이동성과 일반화 능력을 보였다.
• 결손된 신체 부위(예: 오른팔 또는 왼다리)를 가진 테스트에서 모델은 낮은 예측 오차를 유지하였으며, 전체 입력과 비교해 약 0.1의 오차 증가만을 보였다. 이는 강건성을 잘 보여준다.
• 계층적 시간 인코더(H-TE)가 가장 뛰어난 성능을 보였으며, '먹기' 동작의 경우 160ms 예측 오차가 0.20으로, 대칭형 및 컨볼루션 변형을 모두 능가했다.
• 수신 영역의 시각화 결과, 학습된 유닛들이 팔을 들어 올리는 것, 다리를 들어 올리는 것과 같은 의미 있는 운동 패턴에 반응함을 확인하여, 체계적인 특징 학습이 이루어졌음을 확인했다.
• 뱀소형 표현은 제로샷 동작 분류에 높은 정확도로 활용 가능하여, 일반적인 운동 특징 추출기로서의 유용성을 입증했다.