[논문 리뷰] Spatio-temporal Manifold Learning for Human Motions via Long-horizon Modeling

He Wang, Edmond S. L. Ho외 2명|arXiv (Cornell University)|2019. 08. 20.

Human Pose and Action Recognition참고 문헌 47인용 수 9

한 줄 요약

이 논문은 스켈레톤 특징 추출을 위한 파트 기반 공간 인코더와 장기 예측을 위한 배치 예측 네트워크를 조합하여 3D 인간 운동 다양체를 모델링하는 딥러닝 프레임워크인 Spatio-temporal Recurrent Neural Network(STRNN)을 제안한다. 이 방법은 루프 밖에서의 고해상도 장기 운동 합성, 노이즈 제거, 제어 기반 생성을 가능하게 하여 기존 방법들보다 운동의 자연스러움과 분산 유지 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Data-driven modeling of human motions is ubiquitous in computer graphics and computer vision applications, such as synthesizing realistic motions or recognizing actions. Recent research has shown that such problems can be approached by learning a natural motion manifold using deep learning to address the shortcomings of traditional data-driven approaches. However, previous methods can be sub-optimal for two reasons. First, the skeletal information has not been fully utilized for feature extraction. Unlike images, it is difficult to define spatial proximity in skeletal motions in the way that deep networks can be applied. Second, motion is time-series data with strong multi-modal temporal correlations. A frame could be followed by several candidate frames leading to different motions; long-range dependencies exist where a number of frames in the beginning correlate to a number of frames later. Ineffective modeling would either under-estimate the multi-modality and variance, resulting in featureless mean motion or over-estimate them resulting in jittery motions. In this paper, we propose a new deep network to tackle these challenges by creating a natural motion manifold that is versatile for many applications. The network has a new spatial component for feature extraction. It is also equipped with a new batch prediction model that predicts a large number of frames at once, such that long-term temporally-based objective functions can be employed to correctly learn the motion multi-modality and variances. With our system, long-duration motions can be predicted/synthesized using an open-loop setup where the motion retains the dynamics accurately. It can also be used for denoising corrupted motions and synthesizing new motions with given control signals. We demonstrate that our system can create superior results comparing to existing work in multiple applications.

연구 동기 및 목표

• 기존 딥러닝 모델이 3D 인간 운동 데이터의 공간적 및 시간적 변동성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 파생된 의미적 파트 기반 스켈레톤 인코딩을 통해 공간적 변동성을 유지함으로써 복잡한 해석 네트워크의 필요성을 제거하기 위해.
• 장기 예측 손실 함수를 사용한 배치 예측을 통해 운동 시퀀스의 장거리 시간 의존성과 다중 모달성을 모델링하기 위해.
• 반복적 수정이나 외부 제어 신호 없이도 정확한 오픈 루프 방식으로 장기적인 운동을 생성하기 위해.
• 학습된 운동 다각체의 유연성을 운동 합성, 노이즈 제거, 제어 기반 생성 등 다양한 작업에 적용함을 보여주기 위해.

제안 방법

• 공간적 구성 요소는 인간 스켈레톤을 의미적이고 공간적으로 가까운 부분들(예: 상체, 다리)으로 나누어 국소 운동 변동성을 유지한다.
• 계층적 공간 인코더는 각 스켈레톤 프레임을 더 높은 차원의 잠재 공간(512차원)으로 매핑하여 저차원 임베딩보다 개선된 특징 표현을 가능하게 한다.
• 시간적 구성 요소는 운동 프리픽스를 인코딩하고 한 번의 순방향 전파로 장기적인 미래 프레임 시퀀스를 디코딩하는 배치 예측 모델을 사용한다.
• 전체 생성된 시퀀스에 걸쳐 장기 예측 손실이 적용되어 자연스러움을 강화하고 진동 또는 평균 자세로의 붕괴를 줄인다.
• 재구성 손실과 장기 예측 시간 일관성 손실의 조합을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 모델는 피드백이나 런타임 오류 수정 없이 오픈 루프 설정에서 작동한다.

실험 결과

연구 질문

• RQ1 파트 기반 공간 인코딩 전략이 3D 운동 모델링에서 운동 분산을 효과적으로 유지하고 평균 자세 붕괴를 방지할 수 있는가?
• RQ2 장기 예측 손실 함수를 사용한 배치 예측이 자동 회귀나 프레임 단위 예측에 비해 다중 모달성과 동적인 운동 시퀀스를 더 잘 모델링할 수 있는가?
• RQ3 학습된 운동 다각체가 명시적 지도 없이 장기 예측 운동 합성, 노이즈 제거, 제어 기반 생성 등의 작업에 얼마나 잘 일반화될 수 있는가?
• RQ4 환경 또는 동작 레이블 정보가 없는 상황에서 모델이 맥락에 적절한 운동을 생성하는 능력에 어떤 영향을 미치는가?

주요 결과

• STRNN은 런타임 수정 없이 오픈 루프 설정에서 최대 20,000 프레임에 이르는 장기 운동을 생성하며 높은 운동 자연성과 동적 정밀도를 유지한다.
• LSTM 기반 베이스라인과 어텐션 메커니즘보다 우수한 성능을 보이며, 장기 예측에서 평균 자세로의 붕괴나 진동성 있는 운동을 보이는 것을 방지한다.
• 파트 기반 공간 인코딩은 전반적 또는 저차원 인코딩 대비 운동 분산 유지 측면에서 뚜렷한 향상을 보이며, 별도의 해석 네트워크가 필요 없음을 입증한다.
• 장기 예측 배치 예측 손실은 다중 모달성과 장거리 의존성을 효과적으로 포착하여 운동 분산의 과소 및 과대 추정을 모두 줄인다.
• 학습된 다각체는 효과적인 노이즈 제거와 제어 신호 기반 합성을 가능하게 하여 다양한 응용 분야에서의 유연성을 입증한다.
• 모호한 전이나 환경 맥락 처리의 한계가 있음에도 불구하고, 데이터 기반의 전역 다각체 학습 접근 방식 덕분에 다양한 운동 유형으로 잘 일반화된다.