[논문 리뷰] A Spatial-temporal 3D Human Pose Reconstruction Framework

Xuan Nguyen, Thi Duyen Ngo외 1명|arXiv (Cornell University)|2019. 01. 08.

Human Pose and Action Recognition참고 문헌 11인용 수 4

한 줄 요약

이 논문은 2D 자세 시퀀스에서 프레임 내 및 프레임 간 상관관계를 활용하기 위해 수직 일치 추적(OMP), 사전 훈련된 자세-각도 제한 및 시간 모델링을 사용하는 공간-시간 3D 인간 자세 재구성 프레임워크를 제안한다. CMU Mocap 및 베트남 전통 무용 데이터셋에서 상태최근기 기법들보다 10% 낮은 유클리드 재구성 오차와 더불어 노이즈에 대한 강건성 향상을 달성하였으며, 보다 매끄럽고 자연스러운 3D 자세 시퀀스를 생성한다.

ABSTRACT

3D human pose reconstruction from single-view camera is a difficult and challenging topic. Many approaches have been proposed, but almost focusing on frame-by-frame independently while inter-frames are highly correlated in a pose sequence. In contrast, we introduce a novel spatial-temporal 3D reconstruction framework that leverages both intra and inter frame relationships in consecutive 2D pose sequences. Orthogonal Matching Pursuit (OMP) algorithm, pre-trained Pose-angle Limits and Temporal Models have been implemented. We quantitatively compare our framework versus recent works on CMU motion capture dataset and Vietnamese traditional dance sequences. Our method outperforms others with 10 percent lower of Euclidean reconstruction error and robustness against Gaussian noise. Additionally, it is also important to mention that our reconstructed 3D pose sequences are smoother and more natural than others.

연구 동기 및 목표

• 단일 뷰 2D 자세로부터 3D 인간 자세 재구성을 다루는 데 있어, 강한 시간적 상관관계가 존재하는 바에도 불구하고 각 프레임을 독립적으로 다루는 기존 접근 방식의 도전 과제를 해결하기 위함.
• 각 프레임 내의 공간적 관계와 연속된 프레임 간 시간적 의존성을 모델링하여 재구성 정확도와 시간적 매끄러움을 향상시키기 위함.
• 노이즈에 대한 강건성을 향상시키고 더 자연스럽고 현실적인 3D 자세 시퀀스를 생성하기 위함.
• 통합된 프레임워크를 통해 공간적 및 시간적 사전 지식을 통합함으로써 기존의 프레임 단위 처리 방법을 초월하기 위함.

제안 방법

• 학습된 자세 구성 사전에서 최적의 기저 벡터를 선택하여 3D 자세를 재구성하기 위해 수직 일치 추적(OMP)을 사용한다.
• 각 프레임 내에서 해부학적으로 타당한 관절 구성이 이루어지도록 사전 훈련된 자세-각도 제한을 공간적 제약 조건으로 통합한다.
• 연속된 2D 자세 시퀀스 간의 순차적 의존성을 활용하기 위해 시간 모델링을 적용하여 시간적 일관성을 향상시킨다.
• 공간적 및 시간적 사전 지식을 통합한 최적화 프레임워크를 통해 시간에 걸쳐 3D 자세 추정치를 동시에 정밀하게 보정한다.
• 공간 일관성 강화와 시간적 스무딩을 번갈아가며 수행하는 다단계 정밀 조정 과정을 활용한다.
• 학습 및 평가를 위해 CMU Mocap 데이터셋과 자체 제작한 베트남 전통 무용 시퀀스를 활용한다.

실험 결과

연구 질문

• RQ1 연속된 2D 자세 프레임 간의 시간적 의존성을 통합할 경우, 독립적 프레임 처리 기법 대비 3D 재구성 정확도가 향상되는가?
• RQ2 해부학적으로 타당한 자세-각도 제한을 통합할 경우 재구성 품질과 안정성에 어떤 영향을 미치는가?
• RQ3 제안된 프레임워크는 기준 데이터셋에서 유클리드 재구성 오차를 얼마나 줄이는가?
• RQ4 특히 가우시안 노이즈 조건에서 이 방법은 어떤 성능을 보이는가?
• RQ5 기존의 최신 기술 대비 더 매끄럽고 자연스러운 3D 자세 시퀀스를 생성하는가?

주요 결과

• 제안된 프레임워크는 CMU Mocap 데이터셋에서 최근의 최신 기술 대비 평균 유클리드 재구성 오차를 10% 감소시켰다.
• 가우시안 노이즈에 대한 강건성이 뛰어나, 노이즈가 있는 2D 자세 입력 조건에서도 낮은 오차율을 유지한다.
• 경쟁 기법들보다 재구성된 3D 자세 시퀀스가 훨씬 매끄럽고 시간적으로 일관성이 높다.
• 자세-각도 제한과 시간 모델링의 통합은 더 해부학적으로 타당한 3D 자세를 도출한다.
• 복잡한 시퀀스를 포함한 다양한 운동 스타일에 대해 잘 일반화된다. 특히 베트남 전통 무용의 복잡한 시퀀스에서도 성능이 우수하다.
• 정량적 평가를 통해 기준 데이터셋과 자체 제작 데이터셋 모두에서 일관된 성능 향상을 확인하였다.