[논문 리뷰] FCHD: Fast and accurate head detection in crowded scenes

Aditya Vora, Vinay Chilaka|arXiv (Cornell University)|2018. 09. 24.

Advanced Neural Network Applications참고 문헌 25인용 수 23

한 줄 요약

FCHD는 효과적 영향 범위 기반의 앵커 선택을 통해 혼잡한 장면에 최적화된 경량이며 완전 컨볼루션 헤드 검출 모델을 제안하며, Brainwash 데이터셋에서 0.70 mAP 성능을 달성하고 Quadro M1000M GPU에서 5 FPS의 추론 속도를 기록하여 메모리 소비와 추론 시간이 낮아 엣지 디바이스에 적합한 성능을 보인다.

ABSTRACT

In this paper, we propose FCHD-Fully Convolutional Head Detector, an end-to-end trainable head detection model. Our proposed architecture is a single fully convolutional network which is responsible for both bounding box prediction and classification. This makes our model lightweight with low inference time and memory requirements. Along with run-time, our model has better overall average precision (AP) which is achieved by selection of anchor sizes based on the effective receptive field of the network. This can be concluded from our experiments on several head detection datasets with varying head counts. We achieve an AP of 0.70 on a challenging head detection dataset which is comparable to some standard benchmarks. Along with this our model runs at 5 FPS on Nvidia Quadro M1000M for VGA resolution images. Code is available at https://github.com/aditya-vora/FCHD-Fully-Convolutional-Head-Detector.

연구 동기 및 목표

• 이전 모델이 소형 헤드와 높은 밀도로 인해 실패하는 혼잡한 장면에서 정확한 헤드 검출의 과제를 해결한다.
• 자원 제약이 있는 디바이스에서 엣지 배포에 적합한 경량 실시간 헤드 검출 시스템을 개발한다.
• 이론적 영향 범위가 아닌 효과적 영향 범위 기반으로 앵커 스케일을 최적화하여 혼잡한 장면에서의 검출 성능을 향상시킨다.
• 낮은 추론 시간과 메모리 사용량을 유지하면서도 벤치마크 헤드 검출 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.

제안 방법

• 사전 학습된 VGG16 기반의 완전 컨볼루션 네트워크(Fully Convolutional Network, FCN) 아키텍처를 채택하며, conv5 이후의 최종 레이어를 제거하고 세 개의 새로운 1×1 컨볼루션 헤드를 추가한다.
• 단일 완전 컨볼루션 네트워크를 사용해 경계 상자 좌표(회귀 헤드)와 헤드 분류 점수(분류 헤드)를 동시에 예측함으로써 종단간 학습을 가능하게 한다.
• 효과적 영향 범위를 기반으로 한 앵커 선택을 통해 각 특징 맵 위치당 두 개의 앵커 크기를 사용하는 앵커 기반 검출을 구현하여 혼잡한 장면에서 일반적인 헤드 크기와 더 잘 일치하도록 한다.
• 회귀 및 분류 헤드 양쪽에 1×1 컨볼루션을 적용하며, 출력 차원은 위치당 앵커 수(N=2)에 따라 결정된다.
• 예측된 척도 및 이동 값에 대한 경계 상자 변환을 적용하여 각 앵커에 대한 실제 공간 좌표를 도출한다.
• 표준 검출 손실 함수를 사용해 모델을 학습하며, 앵커 크기 선택의 타당성을 검증하기 위해 분석 연구(Ablation studies)를 실시한다.

실험 결과

연구 질문

• RQ1 이론적 영향 범위 또는 고정된 앵커 크기 대비 효과적 영향 범위 기반 앵커 선택이 혼잡한 장면에서의 헤드 검출 성능에 어떤 영향을 미치는가?
• RQ2 완전 컨볼루션 단일 단계 헤드 검출 모델이 엣지 배포에 적합한 낮은 추론 시간과 메모리 사용량을 유지하면서도 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ3 다양한 앵커 크기 조합이 고밀도 헤드 검출 환경에서 mAP와 추론 속도에 어떤 영향을 미치는가?
• RQ4 제안된 FCHD 모델은 ReInspect 및 RCNN 기반 검출기와 같은 최신 기술 모델 대비 벤치마크 데이터셋에서 정밀도, 재현율 및 mAP 측면에서 어떻게 비교되는가?
• RQ5 고조도 및 고밀도 군중 상황과 같은 도전적인 조건에서 모델의 일반화 능력은 어떠한가?

주요 결과

• FCHD는 도전적인 Brainwash 데이터셋에서 0.70 mAP 성능을 달성하여 세 가지 베이스라인을 능가하고 최고 성능을 기록한 모델(0.78 mAP)과 유사한 성능을 보였다.
• HollywoodHeads 데이터셋에서 FCHD는 0.74 mAP 성능을 기록하여 이전 최고 기록보다 약 2% 높은 성능을 달성했다.
• NVIDIA Quadro M1000M GPU에서 5 FPS로 실행되며, ReInspect 대비 5배 빠른 속도를 기록했고, 임베디드 장치인 Jetson TX2에서는 1.6 FPS로 작동했다.
• 분석 연구 결과, 앵커 크기 32×32와 64×64가 가장 높은 mAP(0.70)를 기록하여 효과적 영향 범위 기반 앵커 선택의 효과를 입증했다.
• 고조도 및 고밀도 상황에서도 강건한 성능을 보였으며, 정성적 결과(Fig. 3)에서 성공적인 검출 사례를 제시했지만, 저밀도 헤드 장면에서는 가끔 실패하는 경향을 보였다(Fig. 4).
• 낮은 메모리 사용량 덕분에 ReInspect가 메모리 제약으로 인해 로드되지 못하는 임베디드 플랫폼인 Jetson TX2에서도 배포가 가능했다.