[논문 리뷰] A Neural Network Approach to Missing Marker Reconstruction.

Taras Kucherenko, Hedvig Kjellström|arXiv (Cornell University)|2018. 03. 07.

Human Pose and Action Recognition참고 문헌 22인용 수 10

한 줄 요약

이 논문은 인간 운동의 시간적 및 공간적 상관관계를 활용하여 옵티컬 모션 캡처 데이터에서 누락된 마커 위치를 재구성하기 위한 신경망 접근법을 제안한다. CMU Mocap 데이터셋에서 LSTM 기반 및 윈도우 기반 모델을 사용한 결과, 재구성 정확도에서 최신 기술 대비 20%에서 400% 향상된 성능을 달성하였다.

ABSTRACT

Optical motion capture systems have become a widely used technology in various fields, such as augmented reality, robotics, movie production, etc. Such systems use a large number of cameras to triangulate the position of optical markers. These are then used to reconstruct the motion of rigid objects or human articulated bodies, to which the markers are attached. The marker positions are estimated with high accuracy. However, especially when tracking articulated bodies, a fraction of the markers in each timestep is missing from the reconstruction. In this paper, we propose to use a neural network approach to learn how human motion is temporally and spatially correlated, and reconstruct missing markers positions through this model. We experiment with two different models, one LSTM-based and one window-based. Experiments on the CMU Mocap dataset show that we outperform the state of the art by 20\% - 400\%.

연구 동기 및 목표

• 옵티컬 모션 캡처 시스템에서 인간 운동 추적 중 발생하는 마커 데이터 누락 문제를 해결하기 위해.
• 인간 운동의 시간적 및 공간적 상관관계를 학습하여 누락된 마커 위치의 재구성 향상하기 위해.
• 다양한 운동 시퀀스에 일반화 가능한 신경망 모델을 개발하고 평가하기 위해.
• 기존 최신 기술 대비 마커 재구성 정확도에서 승승을 거두기 위해.

제안 방법

• 시간에 따른 마커 궤적의 의존성을 모델링하기 위해 순환 신경망(LSTM)을 사용한다.
• 지역적인 시간 윈도우의 운동 데이터를 처리하여 누락된 마커를 예측하기 위한 윈도우 기반 신경망을 사용한다.
• 관측된 마커 위치에서 운동 패턴을 학습하기 위해 CMU Mocap 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 입력 특징은 각 타임스텝에서 가시 마커의 3D 위치이며, 훈련 중에 누락된 마커는 마스킹된다.
• 맥락적인 운동 패턴에 기반하여 누락된 마커의 재구성된 3D 위치를 출력한다.
• 두 모델 모두 표준 모션 캡처 재구성 평가 지표(예: 마커당 평균 오차)를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 신경망이 인간 운동의 시간적 및 공간적 상관관계를 효과적으로 학습하여 누락된 마커를 재구성할 수 있는가?
• RQ2 LSTM 기반 및 윈도우 기반 아키텍처는 누락된 마커 위치 재구성에서 어떻게 상호 비교되는가?
• RQ3 제안된 방법은 기준 데이터셋에서 기존 최신 기술 대비 어느 정도 뛰어난 성능을 보이는가?
• RQ4 모델은 CMU Mocap 데이터셋의 다양한 운동 시퀀스에 대해 일반화되는가?

주요 결과

• 제안된 방법은 CMU Mocap 데이터셋에서 최신 기술 대비 재구성 정확도에서 20%에서 400% 향상된 성능을 달성하였다.
• LSTM 기반 모델은 운동 시퀀스에서 장거리 시간적 의존성을 잘 포착하는 것으로 나타났다.
• 윈도우 기반 모델는 국소적인 운동 패턴 처리에서 경쟁력 있는 성능를 보였다.
• 두 모델 모두 걷기, 달리기, 복잡한 상체 운동을 포함한 다양한 운동 유형에 대해 잘 일반화되었다.
• 운동 상관관계를 학습하는 것이 재구성 품질을 크게 향상시킨다는 것이 결과적으로 입증되었다.
• 높은 비율의 마커 누락 상황에서도 재구성 오차를 효과적으로 감소시켰다.