[논문 리뷰] Learning Human Pose Estimation Features with Convolutional Networks

Arjun Jain, Jonathan Tompson외 3명|arXiv (Cornell University)|2013. 12. 27.

Human Pose and Action Recognition참고 문헌 43인용 수 169

한 줄 요약

이 논문은 FLIC 데이터셋에서 최신의 변형 가능한 부분 모델(DPMs)과 CVPR13 MODEC 검출기보다 뛰어난 성능을 보이는 비제약 조건 하의 인간 자세 추정을 위한 엔드 투 엔드 컨볼루션 신경망(CNN) 아키텍처를 제안한다. 깊은 컨벌루션 네트워크를 통해 저수준 특징을 학습하고, 단순한 전역 공간 모델을 적용하여 부분 검출을 정밀하게 보정함으로써, 특히 손목과 팔꿈치 관절에서 뛰어난 정확도를 달성한다. 이는 복잡한 운동학적 구조가 이전에 생각한 것만큼 중요하지 않다는 것을 보여준다.

ABSTRACT

This paper introduces a new architecture for human pose estimation using a multi- layer convolutional network architecture and a modified learning technique that learns low-level features and higher-level weak spatial models. Unconstrained human pose estimation is one of the hardest problems in computer vision, and our new architecture and learning schema shows significant improvement over the current state-of-the-art results. The main contribution of this paper is showing, for the first time, that a specific variation of deep learning is able to outperform all existing traditional architectures on this task. The paper also discusses several lessons learned while researching alternatives, most notably, that it is possible to learn strong low-level feature detectors on features that might even just cover a few pixels in the image. Higher-level spatial models improve somewhat the overall result, but to a much lesser extent then expected. Many researchers previously argued that the kinematic structure and top-down information is crucial for this domain, but with our purely bottom up, and weak spatial model, we could improve other more complicated architectures that currently produce the best results. This mirrors what many other researchers, like those in the speech recognition, object recognition, and other domains have experienced.

연구 동기 및 목표

• 손작업으로 설계된 특징이나 복잡한 구조적 사전 지식에 의존하지 않고 비제약 조건 하의 인간 자세 추정을 위한 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• 딥 컨벌루션 네트워크가 인간 자세 추정을 위해 효과적인 저수준 특징과 공간 관계를 학습할 수 있는지 조사하는 것.
• 고수준 공간 모델이 전통적인 부분 기반 모델과 비교하여 자세 추정 성능에 미치는 영향을 평가하는 것.
• 명시적인 운동학적 제약 조건을 가진 더 복잡한 상향식 아키텍처에 비해 순수하게 하향식, 약한 지도 학습 방식이 비제약 조건 자세 추정에서 슈퍼어리어를 달성할 수 있는지 확인하는 것.

제안 방법

• 이 방법은 이미지 패치에서 직접 저수준 특징을 학습하기 위해 다층 컨벌루션 네트워크를 사용하며, 기존의 수작업으로 설계된 특징(예: SIFT 또는 HoG)을 대체한다.
• 파트 검출기의 반응 맵을 정제하기 위해 파트 계층 구조를 반영한 두 번째 네트워크를 활용하는 이중 단계 필터링 프로세스를 적용한다.
• 공간 모델은 검출 결과를 개선하기 위해 전역 위치 사전 지식을 적용하여 잡음과 오진 검출을 제거한다.
• 네트워크는 GPU에서 스토하스틱 그래디언트 하강(SGD)과 역전파를 사용하여 훈련되며, Theano를 활용해 효율적인 기호 미분과 배치 처리를 수행한다.
• 추론 과정에서는 개별 패치를 처리하는 대신 전체 이미지에 대해 컨볼루션을 수행함으로써 추론 시간을 크게 단축시킨다.
• 최종 관절 위치는 여러 스케일에서 가장 높은 신뢰도를 가진 위치로 선택된다.

실험 결과

연구 질문

• RQ1 딥 컨벌루션 네트워크는 수작업으로 설계된 특징 없이도 인간 자세 추정을 위해 효과적인 저수준 특징을 학습할 수 있는가?
• RQ2 지역 특징만을 사용한 엔드 투 엔드 학습과 비교했을 때, 고수준 공간 모델이 자세 추정 정확도를 얼마나 향상시키는가?
• RQ3 운동학적 제약 조건을 코딩한 더 복잡한 구조적 모델에 비해 단순한 전역 공간 모델이 더 뛰어난 성능을 내는가?
• RQ4 순수하게 하향식, 약한 지도 학습 방식이 더 복잡한 상향식 아키텍처보다 비제약 조건 자세 추정에서 슈퍼어리어를 달성할 수 있는가?

주요 결과

• 제안된 방법은 5픽셀 임계값에서 손목, 팔꿈치, 어깨 관절 세 가지 모두에서 CVPR13 MODEC 검출기와 최신 DPMs보다 뛰어난 성능을 보였다.
• 공간 모델은 손목과 팔꿈치 관절의 정밀도를 약 5% 향상시켜 오진 검출을 줄였다.
• 어깨 관절의 경우, 큰 임계값에서 공간 모델이 성능을 약간 떨어뜨렸는데, 이는 팔꿈치 검출이 열악하기 때문일 것이다.
• 결과적으로 복잡한 구조적 모델이 예상보다 덜 중요하다는 것이 드러났으며, 단순한 전역 공간 사전 지식이 가장 뛰어난 성능을 달성했다.
• 딥 러닝이 작은 이미지 영역(몇 픽셀 내외)에서도 정밀하고 국소화된 특징을 효과적으로 학습할 수 있음을 보여주었다.
• 이전 방법들보다 더 단순한 아키텍처를 사용하면서도 최신 기술 수준의 성능을 달성했으며, 이는 엔드 투 엔드 훈련을 통한 표현 학습이 이 작업에 매우 효과적이라는 것을 시사한다.