[논문 리뷰] Deep Poselets for Human Detection

Lubomir Bourdev, Fei Yang외 1명|arXiv (Cornell University)|2014. 07. 02.

Human Pose and Action Recognition참고 문헌 20인용 수 21

한 줄 요약

이 논문은 PASCAL VOC 인물 검출에서 최고 성능을 달성하기 위해 딥 컨volution 신경망(CNN)과 포즈릿 기반 인간 검출을 결합한 Deep Poselets를 제안한다. 약한 레이블이 부여된 포즈릿 예제 수백만 개를 수집하기 위해 부트스트랩 방식을 사용하고, 이를 통해 256D 포즈 특징을 생성하는 CNN을 훈련시킴으로써, 아スペ크트 레이트에 영향을 받지 않는 강력한 부분 검출 기능을 확보하였다. 이는 R-CNN보다 0.6–1.2% 높은 mAP 성능을 달성한다.

ABSTRACT

We address the problem of detecting people in natural scenes using a part approach based on poselets. We propose a bootstrapping method that allows us to collect millions of weakly labeled examples for each poselet type. We use these examples to train a Convolutional Neural Net to discriminate different poselet types and separate them from the background class. We then use the trained CNN as a way to represent poselet patches with a Pose Discriminative Feature (PDF) vector -- a compact 256-dimensional feature vector that is effective at discriminating pose from appearance. We train the poselet model on top of PDF features and combine them with object-level CNNs for detection and bounding box prediction. The resulting model leads to state-of-the-art performance for human detection on the PASCAL datasets.

연구 동기 및 목표

• 자연적인 환경에서 포즈, 외관, 부분적 가림 등에 따라 크게 변하는 인간 검출 문제를 해결한다.
• R-CNN와 OverFeat의 변수적인 아스펙트 레이트 및 노이즈가 많은 배경을 다루는 데서 비롯하는 한계를 포즈 기반 모델링을 통해 극복한다.
• 드물게 나타나는 포즈릿 유형에 대한 딥 네트워크 훈련 복잡도를 줄이기 위해, 약한 레이블이 부여된 데이터 수집을 위한 부트스트랩 방법을 도입한다.
• 소규모 훈련 데이터로도 빠르고 정확한 포즈릿 분류가 가능한 컴팩트한 포즈 구별 특징 표현(PDF)을 개발한다.
• 간결하면서도 효과적인 포즈릿-CNN 파이프라인을 사용하여 PASCAL VOC 인물 검출 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 기존의 HOG 기반 포즈릿을 초기화로 사용하여, 부트스트랩 방법을 통해 각 포즈릿 유형에 대해 수백만 개의 약한 레이블이 부여된 예제를 자동으로 수집한다.
• 이러한 약한 레이블이 부여된 예제를 기반으로 컨volution 신경망(CNN)을 훈련시어, 포즈와 외관을 구별할 수 있는 256차원의 포즈 구별 특징(PDF) 벡터를 학습한다.
• 훈련된 CNN을 사용해 포즈릿 패치에서 PDF 특징을 추출하고, 이를 선형 SVM의 입력으로 사용하여 포즈릿 분류를 훈련시킨다.
• 포즈릿 검출 결과와 객체 수준의 CNN(R-CNN의 FC7 특징)을 조합하여 바운딩 박스 제안을 생성하고 객체 검출을 정밀하게 개선한다.
• 테스트 시기에 PDF 특징을 적용하여 소규모 오차(예: ±20° 회전, ±16px 이동)에 대해 강건성을 확보하고 일반화 성능을 향상시킨다.
• 미세조정 없이 사전 훈련된 R-CNN 네트워크를 객체 수준의 분류 및 회귀에 사용하고, 이를 포즈릿 점수와 조합하여 최종 검출 결과를 도출한다.

실험 결과

연구 질문

• RQ1 딥 특징은 수작업으로 만든 특징(HOG)에 대한 의존도를 줄이며 포즈릿 기반 인간 검출 성능을 향상시킬 수 있는가?
• RQ2 부트스트랩 방법을 통해 포즈릿 전용 CNN에 대한 대규모 약한 레이블이 부여된 훈련 데이터를 효과적으로 생성할 수 있는가?
• RQ3 기존의 HOG 특징에 비해 정확도, 오차에 대한 강건성, 샘플 효율성 측면에서 컴팩트한 256D PDF 특징 벡터가 뛰어난가?
• RQ4 딥 포즈릿을 활용한 부분 기반 검출 시스템이 PASCAL VOC 인물 검출에서 R-CNN 검출기 성능을 초월할 수 있는가?
• RQ5 왜곡되거나 노이즈가 많은 영역 제안과 비교했을 때, 특징 추출 시 정확한 아스펙트 레이트 유지가 검출 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 Deep Poselets 방법은 PASCAL VOC 2007 테스트 세트에서 59.3% mAP를 기록하여 R-CNN 검출기(58.7% mAP)보다 0.6% 높은 성능을 달성한다.
• VOC 2010 및 2011 데이터셋에서 각각 59.3% 및 58.7% mAP를 기록하여 R-CNN보다 1.2% 및 0.9% 높은 성능을 기록한다.
• 딥 특징 기반 포즈릿 분류기는 오직 375개의 양성 예제만으로도 왜곡된 테스트 세트에서 평균 정밀도 99.44%를 달성했으며, HOG는 70.59%에 그친다.
• PDF 특징 벡터는 HOG의 1476차원 대비 256차원으로, 추론 속도와 효율성을 높이면서도 높은 정확도를 유지한다.
• HOG에 비해 PDF 특징은 소규모 오차(예: 회전, 스케일링, 이동)에 훨씬 더 강건하여 더 넓은 스캔 범위로도 적용 가능하고 추론 속도가 빨라진다.
• 각 포즈릿에 대해 200개의 훈련 예제만으로도 미세조정 없이도, HOG 기반 포즈릿이 훨씬 큰 데이터셋으로 훈련된 성능과 유사한 성능을 달성한다.