[논문 리뷰] Context-aware CNNs for person head detection

Tuan-Hung Vu, Anton Osokin외 1명|HAL (Le Centre pour la Communication Scientifique Directe)|2015. 11. 24.

Face recognition and analysis참고 문헌 31인용 수 18

한 줄 요약

이 논문은 지역적, 전반적, 쌍별 맥락적 신호를 통합한 유일한 모델에 지역적, 전반적, 쌍별 맥락적 특징을 통합하여 사람 머리 검출을 위한 맥락 인식 CNN 프레임워크를 제안한다. 224,740개의 영화 프레임에 369,846개의 머리가 포함된 대규모 데이터셋을 도입하고, R-CNN을 포함한 이전 방법들보다 높은 정확도와 빠른 추론 성능을 보이며 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Person detection is a key problem for many computer vision tasks. While face detection has reached maturity, detecting people under a full variation of camera view-points, human poses, lighting conditions and occlusions is still a difficult challenge. In this work we focus on detecting human heads in natural scenes. Starting from the recent local R-CNN object detector, we extend it with two types of contextual cues. First, we leverage person-scene relations and propose a Global CNN model trained to predict positions and scales of heads directly from the full image. Second, we explicitly model pairwise relations among objects and train a Pairwise CNN model using a structured-output surrogate loss. The Local, Global and Pairwise models are combined into a joint CNN framework. To train and test our full model, we introduce a large dataset composed of 369,846 human heads annotated in 224,740 movie frames. We evaluate our method and demonstrate improvements of person head detection against several recent baselines in three datasets. We also show improvements of the detection speed provided by our model.

연구 동기 및 목표

• 복잡한 장면에서 가림, 자세 변화, 낮은 조도 조건 등에서 사람 머리 검출 성능을 향상시키기 위해.
• 기존 객체 검출기가 맥락적 추론 없이 객체를 독립적으로 다루는 한계를 해결하기 위해.
• 지역적, 전반적, 쌍별 맥락적 신호를 통합한 공동 딥러닝 프레임워크를 개발하여 검출 성능을 향상시키기 위해.
• 학습 및 평가를 위해 자연스러운 영상 프레임에 포함된 인간 머리의 대규모 고품질 데이터셋을 구축하기 위해.
• 최근의 기준 모델인 R-CNN과 비교해 검출 정확도와 추론 속도를 향상시키기 위해.

제안 방법

• 지역 CNN 모델은 R-CNN 프레임워크에 기반하여 영역 특징을 사용해 객체 제안에서 머리 검출을 수행한다.
• 전반적 CNN 모델은 전체 저해상도 이미지를 처리하여 머리 위치와 크기를 예측하며, 장면 수준의 맥락을 캡처한다.
• 쌍별 CNN 모델은 상대적 위치, 크기, 외관을 모델링하는 공동 함수를 사용하여 객체 쌍에 대한 구조적 점수를 학습한다.
• 쌍별 모델은 공동 검출 성능 최적화를 위해 구조적 출력 대체 손실 함수를 사용해 훈련된다.
• 지역, 전반적, 쌍별 모델은 학습된 감마 파rameter를 사용한 가중치 융합 전략을 통해 통합된다.
• 224,740개의 영화 프레임에 369,846개의 레이블이 부여된 인간 머리의 대규모 데이터셋을 도입하여 훈련 및 평가에 사용한다.

실험 결과

연구 질문

• RQ1 전반적 환경 맥락은 복잡하고 혼잡한 장면에서 머리 검출 정확도를 크게 향상시킬 수 있는가?
• RQ2 검출된 머리 간의 쌍별 관계를 모델링하면 국소화 정확도가 향상되고 거짓 긍정이 감소하는가?
• RQ3 지역적, 전반적, 쌍별 CNN을 통합하면 단독 모델보다 우수한 검출 성능을 달성할 수 있는가?
• RQ4 맥락 인식 CNN 프레임워크는 높은 정확도를 유지하면서도 더 빠른 추론을 달성할 수 있는가?
• RQ5 다양한 자세, 가림, 조명 조건을 포함한 실제 영상 데이터에서 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 맥락 인식 CNN 프레임워크는 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 R-CNN 및 기타 최근 기준 모델보다 평균 정밀도(Average Precision)에서 뛰어난 성능을 보였다.
• 전반적 CNN 모델은 단독으로도 다양한 이미지 해상도와 위치에서 정확한 거시적 국소화를 제공하여 전체 이미지 맥락의 가치를 입증했다.
• 쌍별 CNN 모델은 머리 검출 간의 유인 및 반발력 관계를 모델링하여 거짓 긍정을 줄이고 국소화 일관성을 향상시켰다.
• 공동 모델은 전반적 모델이 고품질의 제안을 효율적으로 생성함으로써 표준 R-CNN보다 더 빠른 추론 속도를 달성했다.
• 224,740개의 영상 프레임에 369,846개의 머리가 포함된 새로운 데이터셋은 특히 가림이 발생하는 어려운 상황에서 더 견고한 훈련과 신뢰할 수 있는 평가를 가능하게 했다.
• 향상된 Casablanca 데이터셋에서, 제안된 방법은 VJ-CRF 및 기타 기준 모델을 크게 능가했으며, 고품질 레이블링과 맥락 모델링의 영향력을 확인했다.