[논문 리뷰] Real-time Human Pose Estimation from Video with Convolutional Neural Networks

Marko Linna, Kannala, Juho외 1명|arXiv (Cornell University)|2016. 09. 23.

Human Pose and Action Recognition참고 문헌 29인용 수 7

한 줄 요약

이 논문은 키네кт를 통해 수집한 응용 분야 전용 데이터로의 피니튜닝을 거친, 다양한 공개 데이터셋에서의 사전 훈련을 거친 두 단계의 딥러닝 접근 방식을 사용하는 실시간 다인용 인간 자세 추정 시스템을 제시한다. 이 방법은 96.8%의 정확도(PCK@0.2)를 달성하며, 한 번의 순전파가 16ms 소요되어 제한된 자세 및 배경 변화가 있는 환경에서 제스처 제어, 게임, 동작 인식에 적합한 빠르고 정확한 Kinect 대체 시스템이다.

ABSTRACT

In this paper, we present a method for real-time multi-person human pose estimation from video by utilizing convolutional neural networks. Our method is aimed for use case specific applications, where good accuracy is essential and variation of the background and poses is limited. This enables us to use a generic network architecture, which is both accurate and fast. We divide the problem into two phases: (1) pre-training and (2) finetuning. In pre-training, the network is learned with highly diverse input data from publicly available datasets, while in finetuning we train with application specific data, which we record with Kinect. Our method differs from most of the state-of-the-art methods in that we consider the whole system, including person detector, pose estimator and an automatic way to record application specific training material for finetuning. Our method is considerably faster than many of the state-of-the-art methods. Our method can be thought of as a replacement for Kinect, and it can be used for higher level tasks, such as gesture control, games, person tracking, action recognition and action tracking. We achieved accuracy of 96.8\% (PCK@0.2) with application specific data.

연구 동기 및 목표

• 제한된 환경과 제한된 자세/배경 변화가 있는 특정 용도에 최적화된 빠르고 정확한 인간 자세 추정 시스템을 개발하기 위해.
• 실시간 운영과 제스처 제어, 동작 인식과 같은 고차원 작업을 지원하는 딥러닝 기반 시스템으로 키네кт를 대체하기 위해.
• 키네кт를 활용해 자동으로 대규모 데이터를 수집하여 훈련 데이터에 대한 레이블을 효율적으로 제공할 수 있도록 하기 위해.
• 입력 이미지 내에서 사람을 위치 및 자르기 위한 별도의 사람 검출기 통합을 통해 다인용 자세 추정을 가능하게 하기 위해.
• 샘플 간 관절 집합이 다를 수 있는 이질적인 훈련 데이터를 처리할 수 있도록 하여 다양한 데이터셋을 훈련에 통합할 수 있도록 하기 위해.

제안 방법

• 이 방법은 먼저 다양한 공개 데이터셋에서 사전 훈련 단계를 거쳐 일반적인 여덟 층의 컨볼루션 네트워크 아키텍처를 훈련시킨다.
• 그 후, 키네кт를 통해 수집한 응용 분야 전용 데이터를 사용하여 네트워크를 피니튜닝한다. 이 데이터는 실제 영상 시퀀스에서 정확한 3차원 관절 레이블을 제공한다.
• 입력 이미지 내에서 사람을 위치 및 자르기 위해 별도의 사람 검출기가 사용되며, 이는 사람의 위치를 사전에 알지 못해도 다인용 자세 추정을 가능하게 한다.
• 시스템은 키네크트의 깊이 및 RGB 데이터를 활용하여 정확한 2차원 및 3차원 관절 레이블을 가진 대규모이고 약한 감독을 받는 훈련 데이터를 자동으로 생성한다.
• 네트워크는 샘플 간에 변동하는 관절 집합을 처리할 수 있도록 훈련되어, 서로 다른 관절 레이블을 가진 데이터셋을 통합할 수 있다.
• 사람 검출기가 포함되지 않은 경우 순전파 추론 시간은 16ms이며, 포함된 경우 76–216ms로 실제 실시간 성능을 확보할 수 있다.

실험 결과

연구 질문

• RQ1 사전 훈련 후 피니튜닝을 거치는 두 단계의 CNN 기반 접근 방식이 제한된 특정 용도의 자세 추정에서 높은 정확도와 실시간 성능을 달성할 수 있는가?
• RQ2 일반적인 사전 훈련에 비해 응용 분야 전용 데이터로의 피니튜닝이 자세 추정 정확도에 얼마나 기여하는가?
• RQ3 실제 환경에서 응용 분야 전용 데이터를 위한 피니튜닝을 위해 키네크트를 효과적으로 활용해 대규모이고 정확한 훈련 데이터를 자동으로 생성할 수 있는가?
• RQ4 사람 검출기의 통합이 비제한된 영상 입력에서 다인용 자세 추정의 실용성과 확장성에 어떻게 영향을 미치는가?
• RQ5 자세 추정 성능에서 일반화(다양한 데이터에서의 성능)와 특수성(도메인 전용 데이터에서의 성능) 사이의 상충 관계는 어떤가?

주요 결과

• 완전한 피니튜닝 후 응용 분야 전용 데이터에서 96.8%의 정확도(PCK@0.2)를 달성하여 높은 실용성을 입증하였다.
• 손목 추정 정확도가 사전 훈련 시 24.5%에서 완전한 피니튜닝 후 89.2%로 크게 향상되어 중요한 관절에 대해 도메인 특화 데이터의 유용성을 입증하였다.
• 피니튜닝 후 사전 훈련 검증 세트에서의 정확도는 63.1%에서 44.2%로 감소하여 일반화와 특수성 사이의 상충 관계를 보여주었다.
• 16ms의 순전파 시간을 유지하여 실시간 성능을 확보하여 제스처 제어 및 게임과 같은 상호작용형 응용 분야에 적합하다.
• 키네크트를 활용한 자동 데이터 수집은 수동 레이블링 없이도 대규모 정확한 훈련 데이터셋을 효율적으로 생성할 수 있도록 한다.
• 제한된 환경에서 일반적인 자세 추정 모델에 비해 이 방법이 우수한 성능을 보이며, 특정 용도에서 전문화된 피니튜닝이 일반 모델을 능가할 수 있음을 시사한다.