[논문 리뷰] PISEP^2: Pseudo Image Sequence Evolution based 3D Pose Prediction

Xiaoli Liu, Jianqin Yin외 2명|arXiv (Cornell University)|2019. 09. 04.

Human Pose and Action Recognition참고 문헌 63인용 수 5

한 줄 요약

이 논문은 3D 관절 좌표 시계열을 허구의 이미지 시계열로 변환하여 공간적 및 시간적 상관관계를 별도로 모델링하는 새로운 3D 자세 예측 프레임워크인 PISEP²을 제안한다. 비재귀적이고 분리된 디코더 아키텍처를 사용함으로써 G3D 및 FNTU 데이터셋에서 오차 누적을 감소시키고 계산 효율성을 향상시켜 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Pose prediction is to predict future poses given a window of previous poses. In this paper, we propose a new problem that predicts poses using 3D joint coordinate sequences. Different from the traditional pose prediction based on Mocap frames, this problem is convenient to use in real applications due to its simple sensors to capture data. We also present a new framework, PISEP^2 (Pseudo Image Sequence Evolution based 3D Pose Prediction), to address this new problem. Specifically, a skeletal representation is proposed by transforming the joint coordinate sequence into an image sequence, which can model the different correlations of different joints. With this image based skeletal representation, we model the pose prediction as the evolution of image sequence. Moreover, a novel inference network is proposed to predict all future poses in one step by decoupling the decoders in a non-recursive manner. Compared with the recursive sequence to sequence model, we can improve the computational efficiency and avoid error accumulation significantly. Extensive experiments are carried out on two benchmark datasets (e.g. G3D and FNTU). The proposed method achieves the state-of-the-art performance on both datasets, which demonstrates the effectiveness of our proposed method.

연구 동기 및 목표

• 저비용으로 쉽게 확보할 수 있는 3D 관절 좌표 시계열을 사용하여 고비용의 모션 캡처 데이터 대신 3D 자세 예측의 과제를 해결하기 위해.
• 골격 표현에서 공간적 및 시간적 정보를 분리함으로써 인간 운동의 복잡한 시공간 역학을 모델링하기 위해.
• 장기 예측에서 오차 누적과 높은 계산 비용 등의 문제를 겪는 순차적-순차적 모델의 한계를 극복하기 위해.
• 모든 미래 프레임을 한 번의 순전파로 동시에 예측하는 비재귀적이고 일괄 처리 가능한 추론 프레임워크를 개발하기 위해.
• 미래의 시퀀스에서 일반화 능력과 시각적 타당성을 향상시키기 위해.

제안 방법

• 3D 관절 좌표 시계열을 공간적 및 시간적 차원이 분리된 골격 데이터로 표현하기 위해 허구의 이미지 시계열로 변환하기 위해.
• 체형 부위(예: 사지 및 몸통)를 그룹화하여 부위 내 상관관계와 부위 간 분리도를 모델링하는 골격 표현을 설계하기 위해.
• 공간적 구조와 시간적 변화를 별도로 모델링하기 위해 공간 블록과 시간 블록이 분리된 이중 브랜치 CNN 아키텍처를 사용하기 위해.
• 모든 미래 프레임을 한 번의 순전파로 예측하는 비재귀적이고 분리된 디코더 구조를 도입하여 오차 전파를 방지하기 위해.
• 중간 레이어(m/2)에서 다중 척도 시간 모델링 전략을 사용하여 시계열 전체의 전반적인 운동 추세를 포착하기 위해.
• 일반화 및 강건성을 향상시키기 위해 미리 학습된 모델을 미세조정(fine-tuning)하여 미리 보지 않은 데이터에 적용하기 위해.

실험 결과

연구 질문

• RQ1 허구의 이미지 시계열 표현이 3D 인간 자세 시계열의 공간적 및 시간적 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 공간적 및 시간적 모델링을 분리함으로써 공동 모델링 방식보다 자세 예측 정확도가 향상되는가?
• RQ3 비재귀적이고 일괄 처리 가능한 예측 프레임워크가 순차적-순차적 모델 대비 정확도와 효율성 면에서 뛰어난가?
• RQ4 제안된 방법이 미리 보지 않은 운동 시퀀스에 대해 얼마나 잘 일반화되는가?
• RQ5 공간-시간 분리 모델링이 장기 예측에서 오차 누적에 어떤 영향을 미치는가?

주요 결과

• PISEP²²는 G3D 및 FNTU 벤치마크 데이터셋에서 기존 방법들인 PredCNN 및 S-TE를 능가하는 최신 기술 수준의 성능을 달성한다.
• 비재귀적이고 일괄 처리 가능한 예측 메커니즘 덕분에 오차 누적이 크게 감소했으며, 시각화 결과에서 장기 예측 시 운동 방향이 일관되게 유지됨을 확인할 수 있다.
• 시각화 결과에 따르면, PISEP²²는 특히 장기 예측에서 PredCNN 및 S-TE보다 더 현실적이고 정확한 자세 시퀀스를 생성한다.
• 미세조정 후 PISEP²²는 미리 보지 않은 데이터에서 뛰어난 일반화 능력을 보이며, 운동 방향과 구조 면에서 예측 자세가 진짜 자세와 유사하게 나타난다.
• m/2 레이어에서 운동을 다중 척도로 모델링함으로써 전반적인 시간적 변화를 효과적으로 포착하여 장거리 의존성 학습을 향상시킨다.
• 공간-시간 분리 모델링은 공간적 및 시간적 특징을 동일하게 취급하는 S-TE와 같은 방법보다 더 뛰어난 성능을 내는 것으로 나타났다.