[논문 리뷰] Double Anchor R-CNN for Human Detection in a Crowd

Kevin Zhang, Feng Xiong외 4명|arXiv (Cornell University)|2019. 09. 22.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 10

한 줄 요약

이 논문은 쌍체 제안 생성 전략을 통해 혼잡한 장면에서 인간의 몸체와 머리 부분을 동시에 검출하는 이단계 객체 검출 프레임워크인 Double Anchor R-CNN을 제안한다. 교차 제안 증강 및 특징 집약을 통해 머리와 몸체 특징을 활용하고, 공동 NMS 모듈을 적용함으로써, CrowdHuman에서 51.79pp, COCOPersons (혼잡)에서 55.01pp, CrowdPose (혼잡)에서 40.02pp의 로그 평균 누락률을 기록하여 이전 방법들보다 3.57–4.24pp 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Detecting human in a crowd is a challenging problem due to the uncertainties of occlusion patterns. In this paper, we propose to handle the crowd occlusion problem in human detection by leveraging the head part. Double Anchor RPN is developed to capture body and head parts in pairs. A proposal crossover strategy is introduced to generate high-quality proposals for both parts as a training augmentation. Features of coupled proposals are then aggregated efficiently to exploit the inherent relationship. Finally, a Joint NMS module is developed for robust post-processing. The proposed framework, called Double Anchor R-CNN, is able to detect the body and head for each person simultaneously in crowded scenarios. State-of-the-art results are reported on challenging human detection datasets. Our model yields log-average miss rates (MR) of 51.79pp on CrowdHuman, 55.01pp on COCOPersons~(crowded sub-dataset) and 40.02pp on CrowdPose~(crowded sub-dataset), which outperforms previous baseline detectors by 3.57pp, 3.82pp, and 4.24pp, respectively. We hope our simple and effective approach will serve as a solid baseline and help ease future research in crowded human detection.

연구 동기 및 목표

• 교차 및 겹침으로 인해 성능이 저하되는 혼잡한 장면에서 인간 검출의 과제를 해결하기 위해.
• 밀집된 군중에서 전체 몸체보다 덜 가림을 받고 더 구분력이 높은 머리 부분을 활용하여 검출의 강인성을 향상시키기 위해.
• 제안 상호작용을 통해 몸체 및 머리 검출을 위한 제안 품질을 향상시키는 학습 전략을 개발하기 위해.
• 더 신뢰할 수 있는 검출을 위해 머리와 몸체 특징을 효과적으로 융합하는 특징 집약 메커니즘을 설계하기 위해.
• 혼잡한 상황에서 잘못된 검출을 줄이고 후처리 강인성을 향상시키기 위해 머리와 몸체 검출 점수를 결합하는 공동 NMS 모듈을 도입하기 위해.

제안 방법

• 이중 앵커 RPN은 각 사람에 대해 쌍체 앵커를 사용하여 몸체 및 머리 부분의 영역 제안을 동시에 생성하도록 설계되었다.
• 고품질의 머리 및 몸체 제안을 쌍체로 연결하는 제안 상호작용 전략을 도입하여 학습을 증강하였으며, 평균적으로 이미지당 유용한 양성 쌍의 수를 약 40개에서 약 97개로 증가시켰다.
• 쌍체 제안에서 유도된 특징은 완전 연결(FC) 벡터를 사용하여 머리와 몸체 간의 공간적 및 의미적 관계를 활용한다.
• 두 번째 단계에서는 RoI Pooling/RoI Align을 활용하여 최종 검출를 위한 정밀화된 특징을 추출한다.
• 공동 NMS 모듈은 머리 및 몸체 검출 점수를 학습 가능한 가중치 인자 λ를 사용해 조합하여 잘못된 검출을 억제하고 후처리 강인성을 향상시킨다.
• 논문은 CrowdHuman, COCOPersons, CrowdPose에서 학습 및 평가되었으며, 각 구성 요소의 유효성을 검증하기 위한 분석 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 혼잡한 장면에서 머리와 몸체를 함께 검출하는 방식이 성능 향상에 기여하는가?
• RQ2 고품질의 머리 및 몸체 제안을 쌍체로 연결하는 제안 상호작용 전략이 검출 정확도 및 강인성을 향상시키는가?
• RQ3 머리 및 몸체 제안 간의 특징 융합이 검출 신뢰성 향상에 얼마나 효과적인가?
• RQ4 머리 및 몸체 점수를 통합하는 공동 NMS 모듈이 혼잡한 상황에서 표준 NMS보다 잘못된 검출을 더 효과적으로 줄이는가?
• RQ5 제안된 방법이 CrowdHuman을 초월한 다른 도전적인 인간 검출 데이터셋으로도 잘 일반화되는가?

주요 결과

• 제안된 Double Anchor R-CNN는 CrowdHuman 데이터셋에서 로그 평균 누락률(MR)이 51.79pp로 기준 모델 대비 3.57pp 향상되었다.
• COCOPersons (혼잡 서브셋)에서, MR는 55.01pp로 기준 모델 대비 3.82pp 향상되었으며, 성능 향상이 확인되었다.
• CrowdPose (혼잡 서브셋)에서, MR는 40.02pp로 기준 모델 대비 4.24pp 향상되었으며, 뚜렷한 개선 효과를 보였다.
• 제안 상호작용 전략은 이미지당 품질 기준의 머리-몸체 제안 쌍의 평균 수를 약 40개에서 약 97개로 증가시켜 검출 성능 향상에 기여했다.
• FC 벡터를 통한 특징 융합은 MR-B를 0.45pp, MR-H를 0.14pp 향상시켰지만, 공간적 특징맵 융합은 정렬 오류로 인해 성능이 2.58pp 저하되었다.
• 공동 NMS는 모든 재현율 설정에서 잘못된 검출을 효과적으로 줄였으며, 다양한 λ 값에서도 결과가 안정되어 있어 후처리 강인성을 입증했다.