[논문 리뷰] Tracking Human-like Natural Motion Using Deep Recurrent Neural Networks

Youngbin Park, Sungphill Moon외 1명|arXiv (Cornell University)|2016. 04. 15.

Human Pose and Action Recognition참고 문헌 21인용 수 13

한 줄 요약

이 논문은 단일 Kinect에서의 비자연스럽고 진동하며 끊어지는 동작을 보정하기 위해 깊이 있는 순환 신경망(pDRNN 및 vDRNN)을 제안한다. 이는 관절 위치와 속도를 정밀하게 보정함으로써 이루어지며, Kinect v2에 비해 위치 오차와 진동 오차를 크게 감소시킨다. 최고의 통합 방법(sKNN-pDRNN)은 평균 위치 오차 0.026을 기록했으며, 원본 Kinect 및 다른 융합 기반 기준 방법을 모두 능가한다.

ABSTRACT

Kinect skeleton tracker is able to achieve considerable human body tracking performance in convenient and a low-cost manner. However, The tracker often captures unnatural human poses such as discontinuous and vibrated motions when self-occlusions occur. A majority of approaches tackle this problem by using multiple Kinect sensors in a workspace. Combination of the measurements from different sensors is then conducted in Kalman filter framework or optimization problem is formulated for sensor fusion. However, these methods usually require heuristics to measure reliability of measurements observed from each Kinect sensor. In this paper, we developed a method to improve Kinect skeleton using single Kinect sensor, in which supervised learning technique was employed to correct unnatural tracking motions. Specifically, deep recurrent neural networks were used for improving joint positions and velocities of Kinect skeleton, and three methods were proposed to integrate the refined positions and velocities for further enhancement. Moreover, we suggested a novel measure to evaluate naturalness of captured motions. We evaluated the proposed approach by comparison with the ground truth obtained using a commercial optical maker-based motion capture system.

연구 동기 및 목표

• 자기 차폐 상황에서 단일 Kinect 뼈대 추적에서 비자연스럽고 진동하며 끊어지는 동작 문제를 해결하기 위해.
• 다중 센서를 요구하지 않고도 Kinect v2 뼈대 데이터의 시간적 연속성과 자연스러움을 향상시키기 위해.
• 깊이 있는 순환 신경망을 활용한 지도 학습 기반 방법을 개발하여 관절 위치와 속도를 정밀하게 보정하기 위해.
• 추적 품질을 객관적으로 평가하기 위해 운동의 자연스러움을 측정하는 새로운 평가 지표를 제안하기 위해.
• 다양한 융합 전략을 사용하여 보정된 위치 및 속도 출력을 통합하여 성능을 향상시키기 위해.

제안 방법

• 원본 Kinect v2 뼈대 데이터에서 보정된 관절 위치를 추정하기 위해 깊이 있는 순환 신경망(pDRNN)을 학습한다.
• 시간적 매끄러움을 향상시키기 위해 별도의 깊이 있는 순환 신경망(vDRNN)을 관절 속도를 보정하도록 학습한다.
• 근접 이웃 검색, 칼만 필터링, 또는 하이브리드 융합을 사용하여 pDRNN 및 vDRNN 출력을 통합하는 세 가지 통합 방법(sKNN, kF, sKNNkF)을 제안한다.
• 지능형 운동 패턴을 학습하기 위해 지도 학습을 활용하여 실제 운동 캡처 데이터 세트를 활용한다.
• 운동의 매끄러움과 끊어짐을 정량화하기 위해 진동 오차 기반의 새로운 자연스러움 평가 지표를 도입한다.
• 시간적 일관성을 유지하면서 위치 및 속도 오차를 최소화하기 위해 엔드 투 엔드로 모델을 학습한다.

실험 결과

연구 질문

• RQ1 깊이 있는 순환 신경망은 단일 Kinect 뼈대 추적에서 비자연스럽고 진동하며 끊어지는 동작을 효과적으로 보정할 수 있는가?
• RQ2 pDRNN 및 vDRNN에서 유도된 보정된 관절 위치와 속도가 개별적으로나 함께 동작의 자연스러움을 어떻게 향상시키는가?
• RQ3 sKNN, kF, 또는 sKNNkF 중 어떤 통합 전략이 위치 오차와 진동 오차를 최소화하는 데 가장 효과적인가?
• RQ4 제안된 방법은 원본 Kinect v2 및 기준 융합 방법에 비해 위치 오차와 진동 오차를 얼마나 감소시키는가?
• RQ5 진동 기반의 새로운 자연스러움 지표는 운동의 매끄러움 향상 정도를 신뢰성 있게 정량화할 수 있는가?

주요 결과

• 특히 sKNN-pDRNN가 가장 낮은 평균 위치 오차(APE) 0.026을 기록하여 Kinect v2 기준값 0.058보다 유의미하게 향상시켰다.
• pDRNN 구성 요소는 중간에서 큰 진동 오차를 효과적으로 감소시켰지만, 미세한 진동에는 영향을 거의 미치지 못했다. 진동 오차 히스토그램을 통해 이를 확인할 수 있었다.
• kF-pDRNN 및 sKNN-pDRNN는 pDRNN 단독보다 APE가 높게 나타나, 정교하게 설계되지 않은 후처리 융합 전략은 성능 저하를 초래할 수 있음을 시사한다.
• sKNNkF 방법은 진동 오차 히스토그램에서 전체적으로 최고의 성능을 기록했으며, 모든 오차 범위에서 다른 변형보다 뛰어났다.
• 정성적 결과에서는 sKNN-pDRNN 방법이 복잡한 동작(예: 돌리기, 다리 교차하기)에서 Kinect v2보다 실제 값에 더 가까운 뼈대를 생성하는 것으로 나타났다.
• 제안된 자연스러움 평가 지표는 운동의 매끄러움 향상을 성공적으로 정량화했으며, pDRNN는 심각한 끊어짐을 감소시켰지만 미세한 진동에는 제한적인 영향을 미쳤다.