[논문 리뷰] Recurrent Network Models for Human Dynamics

Katerina Fragkiadaki, Sergey Levine외 2명|arXiv (Cornell University)|2015. 08. 02.

Human Pose and Action Recognition참고 문헌 44인용 수 73

한 줄 요약

이 논문은 움직임 캡처와 비디오에서 인간의 운동을 모델링하기 위해 인코더-순환-디코더(ERD) 순환 신경망 모델을 제안한다. 이 모델은 엔드 투 엔드 훈련을 통해 공간-시간 표현과 운동을 함께 학습한다. ERD는 인간 자세 레이블링과 400ms 향후 자세 예측에서 베이스라인을 능가하며, 특히 가림을 입은 관절에서 뛰어난 성능을 보이며, 다양한 움직임을 주어진 주제와 활동 간에 드리ft 없이 생성한다.

ABSTRACT

We propose the Encoder-Recurrent-Decoder (ERD) model for recognition and prediction of human body pose in videos and motion capture. The ERD model is a recurrent neural network that incorporates nonlinear encoder and decoder networks before and after recurrent layers. We test instantiations of ERD architectures in the tasks of motion capture (mocap) generation, body pose labeling and body pose forecasting in videos. Our model handles mocap training data across multiple subjects and activity domains, and synthesizes novel motions while avoid drifting for long periods of time. For human pose labeling, ERD outperforms a per frame body part detector by resolving left-right body part confusions. For video pose forecasting, ERD predicts body joint displacements across a temporal horizon of 400ms and outperforms a first order motion model based on optical flow. ERDs extend previous Long Short Term Memory (LSTM) models in the literature to jointly learn representations and their dynamics. Our experiments show such representation learning is crucial for both labeling and prediction in space-time. We find this is a distinguishing feature between the spatio-temporal visual domain in comparison to 1D text, speech or handwriting, where straightforward hard coded representations have shown excellent results when directly combined with recurrent units.

연구 동기 및 목표

• 비디오 및 모션 캡처 데이터에서 복잡한 인간 운동을 통합된 딥 러닝 프레임워크를 사용해 모델링하기 위해.
• 자세 예측 및 레이블링 향상을 위해 공간 표현과 시간적 동역학을 함께 학습하기 위해.
• 다양하고 현실적인 인간 운동을 주어진 주제와 활동 간에 드리ft 없이 생성하기 위해.
• 1차 운동 모델과 프레임별 검출기의 한계를 극복하여 가림 및 좌우 혼동 문제를 다루기 위해.
• 공간-시간 인간 운동 작업을 위한 표현과 동역학의 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• ERD 모델은 입력 데이터(예: 비디오 프레임 또는 모션 캡처 벡터)를 비선형 인코더를 통해 순환 처리에 적합한 잠재 표현으로 매핑한다.
• 순환층(LSTM 기반)이 인코딩된 시퀀스를 처리하여 시간적 동역학과 의존성을 모델링한다.
• 비선형 디코더가 순환 상태에서 출력(예: 관절 히트맵 또는 모션 캡처 벡터)을 재구성한다.
• 전체 네트워크가 인코더, 순환층, 디코더 구성 요소를 함께 최적화하여 엔드 투 엔드로 훈련된다.
• 비디오 작업의 경우, 인코더는 프레임별 신체 부위 검출기에서 초기화된 CNN이며, 디코더는 완전 연결 네트워크이다.
• 모델은 사전 학습된 특징에서 파생된 파라미터를 미세조정하며, 시간적 맥락을 활용하여 모호함을 해소하고 운동의 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 모델이 비디오 및 모션 캡처에서 인간 운동의 표현과 동역학을 함께 학습할 수 있는가?
• RQ2 인코더, 순환층, 디코더 구성 요소를 함께 엔드 투 엔드로 훈련하는 것이 별도의 모델에 비해 자세 예측 및 레이블링 성능을 어떻게 향상시키는가?
• RQ3 ERD 모델이 장기 시퀀스에서 드리프트 없이 다양한 주제와 활동 영역으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 시간적 맥락을 통합하면 프레임별 검출기 대비 가려진 또는 모호한 신체 부위에서 성능 향상이 이루어지는가?
• RQ5 ERD 모델은 장기 예측에서 1차 운동 모델(예: 광학 흐름)에 비해 어떻게 성능을 냈는가?

주요 결과

• ERD는 비디오 자세 레이블링에서 프레임별 신체 부위 검출기보다 우수하며, 특히 관절 예측에서 좌우 혼동을 크게 감소시킨다.
• 400ms 향후 자세 예측에서 ERD는 영점 운동 및 광학 흐름 기반 베이스라인 모두를 뛰어넘으며, 특히 가려진 하지에서 뛰어난 성능을 보인다.
• ERD는 모션 캡처 데이터에서 다양한 주제와 활동 유형 간에 드리프트 없이 다양한 인간 운동 시퀀스를 성공적으로 생성한다.
• 비선형 인코더와 디코더가 핵심적이다. 표준 다층 LSTM 모델은 이들을 포함하지 않으면 짧은 시점 이외에는 현실적인 운동을 생성하지 못한다.
• 사전 학습된 프레임별 검출기에서 인코더를 미세조정하는 것이 성능 향상에 필수적이다. 무작위 가중치에서 훈련하는 것은 수렴이 불량해진다.
• H3.6M와 같은 대규모 데이터셋은 ERD 비디오 레이블러가 일반적인 운동 부드러움 사전 지식을 능가하기 위해 필요하다. 소규모 데이터셋은 과적합을 유도한다.