[논문 리뷰] Semantic Head Enhanced Pedestrian Detection in a Crowd

Ruiqi Lu, Huimin Ma|arXiv (Cornell University)|2019. 11. 27.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 5

한 줄 요약

이 논문은 약한 사전 지도 학습된 애너테이션을 신체 바운딩 박스에서 유추한 것으로, 겹침에 대해 강건성을 향상시키기 위해 병렬적인 의미적 머리 검출기(semantic head detector)를 훈련시키는 새로운 보행자 검출 프레임워크인 헤드-바디 일치 네트워크(HBAN)를 제안한다. 머리와 신체 예측 간의 공간 일관성을 강제하기 위해 일치 손실(alignments loss)을 도입함으로써, HBAN은 특히 심하게 겹쳐진 보행자에 대해 도시 퍼스널스(CityPersons)에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Pedestrian detection in the crowd is a challenging task because of intra-class occlusion. More prior information is needed for the detector to be robust against it. Human head area is naturally a strong cue because of its stable appearance, visibility and relative location to body. Inspired by it, we adopt an extra branch to conduct semantic head detection in parallel with traditional body branch. Instead of manually labeling the head regions, we use weak annotations inferred directly from body boxes, which is named as `semantic head'. In this way, the head detection is formulated into using a special part of labeled box to detect the corresponding part of human body, which surprisingly improves the performance and robustness to occlusion. Moreover, the head-body alignment structure is explicitly explored by introducing Alignment Loss, which functions in a self-supervised manner. Based on these, we propose the head-body alignment net (HBAN) in this work, which aims to enhance pedestrian detection by fully utilizing the human head prior. Comprehensive evaluations are conducted to demonstrate the effectiveness of HBAN on CityPersons dataset.

연구 동기 및 목표

• 혼잡한 장면 내 보행자 검출에서 내부 클래스 겹침(intra-class occlusion) 문제를 해결하기 위해.
• 검출 강건성을 향상시키기 위해 인간의 머리 부분을 안정적이고 시각적으로 명확하며 구분력 있는 단서로 활용하기 위해.
• 기존의 신체 박스 애너테이션에서 유추된 애너테이션을 사용하여 수동으로 머리 애너테이션을 필요로 하지 않고 의미적 머리 검출기를 훈련시키기 위해.
• 새로운 자기 지도 학습 손실 함수(AlignLoss)를 통해 머리-신체 공간 일치를 명시적으로 모델링하기 위해.
• 구조적 사전 지식을 활용한 약한 사전 지도 학습된 부분 검출이 보행자 검출 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 신체 박스의 상단-중앙 영역으로 정의된 의미적 머리(s-head) 영역을 위한 병렬 검출 브랜치를 도입하며, 이는 신체 바운딩 박스에서 유추된 애너테이션을 사용한다.
• s-head 검출을 위해 특화된 RPN과 RCNN 헤드를 설계하였으며, 이는 Faster R-CNN 프레임워크 내에서 메인 신체 검출 브랜치와 함께 엔드 투 엔드로 훈련된다.
• 예측된 신체 박스가 예측된 s-head 영역과 겹치도록 유도하는 자기 지도 학습 손실인 AlignLoss를 제안한다. 이는 공간 일관성을 강제한다.
• 고정된 종횡비(0.41)와 상대적 위치 사전 지식을 사용하여 수동 레이블링을 피하기 위해 신체 박스에서 자동으로 s-head 애너테이션을 생성한다.
• 일반화 및 성능 향상을 위해 이미지 확대, 색상 왜곡 등의 데이터 증강 기법을 적용한다.
• 두 단계 검출 파이프라인을 사용하여 s-head 검출 결과를 활용해 신체 박스 예측을 개선하고 안정화시키며, 특히 겹침 상황에서 효과적이다.

실험 결과

연구 질문

• RQ1 약한 사전 지도 학습된 의미적 머리 검출기가 혼잡한 장면에서 보행자 검출 성능을 향상시킬 수 있는가?
• RQ2 학습 가능한 손실 함수를 통해 머리-신체 공간 일치를 명시적으로 강제하면 겹침에 대한 검출 강건성이 향상되는가?
• RQ3 신체 박스에서 유추된 애너테이션이 수동 레이블링 없이도 효과적인 부분 검출기를 훈련시키기에 충분한가?
• RQ4 제안된 방법은 심하게 겹쳐진 보행자에 대해 최신 기술 수준의 부분 기반 및 다중 브랜치 검출기와 비교해 성능 면에서 어떻게 다른가?
• RQ5 의미적 머리 검출의 통합이 혼잡한 보행자 검출에서 비최대 억제(NMS) 성능을 향상시킬 수 있는가?

주요 결과

• HBAN은 CityPersons 검증 세트에서 최신 기술 수준의 성능을 달성하였으며, HOG(R set) 기준 10.9% 및 HO(R set) 기준 47.0%의 mAP를 기록하여 이전의 부분 기반 방법들을 능가한다.
• CityPersons 테스트 세트에서 HBAN은 HO 기준 11.26%의 mAP를 기록하여 모든 발표된 방법들 중에서 가장 높은 성능을 보이며, 겹침에 대한 뛰어난 강건성을 입증한다.
• HO 기준으로 RepLoss 및 Adaptive NMS를 크게 앞서며, 심한 겹침 상황에서도 강력한 일반화 능력을 보인다.
• 이미지 확대(1.3×)를 적용했을 때, R 기준 mAP가 1.6% 향상되고, HO 기준으로는 1.1% 향상되어 데이터 증강과의 강력한 상호보완 효과를 보였다.
• 단지 신체 박스를 사용해 양성 샘플을 필터링하는 데에만 의존함에도 불구하고, MGAN과 유사한 성능을 달성하였고, Bi-Box를 모두 R 및 HO 세트에서 능가하였다.
• 시각적 비교 결과, HBAN은 특히 신체가 심하게 겹쳐진 경우 더 컴act하고 정확한 박스를 생성하였으며, 신체가 보이지 않더라도 머리를 성공적으로 검출하였다.