[논문 리뷰] Adaptive NMS: Refining Pedestrian Detection in a Crowd

Songtao Liu, Di Huang외 1명|arXiv (Cornell University)|2019. 04. 07.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 24

한 줄 요약

이 논문은 인구 밀도에 따라 억제 임계값을 조정하는 동적 비최대 억제(Non-Maximum Suppression, NMS) 방법인 Adaptive-NMS를 제안한다. 이는 군중 내 보행자 검출 성능을 향상시키기 위해 고안되었으며, 개별 인스턴스의 임계값을 예측하는 학습 가능한 하위망을 통합함으로써 임계값을 조정함으로써 임의의 억제를 줄이고 잘못된 검출을 방지한다. 이로 인해 CityPersons에서 10.8% MR-2, CrowdHuman에서 49.73% MR-2의 최신 기술 성능을 달성한다.

ABSTRACT

Pedestrian detection in a crowd is a very challenging issue. This paper addresses this problem by a novel Non-Maximum Suppression (NMS) algorithm to better refine the bounding boxes given by detectors. The contributions are threefold: (1) we propose adaptive-NMS, which applies a dynamic suppression threshold to an instance, according to the target density; (2) we design an efficient subnetwork to learn density scores, which can be conveniently embedded into both the single-stage and two-stage detectors; and (3) we achieve state of the art results on the CityPersons and CrowdHuman benchmarks.

연구 동기 및 목표

• 중복 및 가림 현상으로 인해 검출 성능이 저하되는 매우 혼잡한 장면에서 보행자 검출의 과제를 해결한다.
• 고정 임계값 기반의 탐욕적 NMS의 한계를 극복한다. 이는 중복된 보행자를 놓치거나 잘못된 억제를 유발할 수 있다.
• 지역적 보행자 밀도에 따라 억제 임계값을 동적으로 조정하는 동적 NMS 메커니즘을 설계하여 진짜 양성 사례를 유지하고 잘못된 양성 사례를 억제한다.
• 아키텍처 제약 없이 단일 단계 및 이중 단계 검출기 모두에 통합하여 광범위한 적용 가능성을 확보한다.
• 기본 평가 프로토콜 하에서 표준 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.

제안 방법

• 지역적 보행자 밀도에 기반해 개별 인스턴스의 억제 임계값을 예측하는 학습 가능한 하위망을 사용하는 동적 NMS 변종인 Adaptive-NMS를 제안한다.
• 특징 맵을 입력으로 받아 각 검출 제안에 대해 밀도 점수를 출력하는 경량의 밀도 추정 하위망을 훈련한다.
• 밀도 점수를 사용해 각 인스턴스에 대해 NMS 임계값을 조정한다: 밀도가 높을수록 임계값이 높아지며, 이는 중복된 진짜 양성 사례의 억제를 줄인다.
• 최소한의 추론 오버헤드로 두 단계(Faster R-CNN with FPN 등) 및 단일 단계(RFB-Net 등) 검출기에 하위망을 통합한다.
• IoU와 학습된 밀도에 기반해 검출 점수를 감쇠시키는 미분 가능하고 부드러운 억제 메커니즘을 적용하여 중복 박스를 강제로 제거하지 않는다.
• 표준 검출 손실과 미분 가능한 NMS 근사치를 사용해 전체 파이프라인을 엔드 투 엔드로 최적화함으로써 NMS 단계를 통해 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정 임계값 기반 NMS에 비해 학습 가능한 밀도 적응형 NMS 메커니즘이 매우 혼잡한 장면에서 보행자 검출 성능을 향상시킬 수 있는가?
• RQ2 Adaptive-NMS는 단일 단계 검출기와 이중 단계 검출기 간의 다양한 검출기 아키텍처에서 혼잡한 보행자 검출 성능에 어떻게 영향을 미치는가?
• RQ3 쌍별 중첩도(IoU > 0.5)가 높은 상황에서 Adaptive-NMS는 잘못된 양성 사례와 놓친 검출을 얼마나 줄일 수 있는가?
• RQ4 특정 데이터셋에 맞게 하이퍼파rameter를 조정할 필요 없이, 다양한 군중 밀도에 일반화되는가?
• RQ5 추가 손실 또는 강력한 백본 수정 없이도 Adaptive-NMS는 CityPersons 및 CrowdHuman과 같은 표준 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• CityPersons 테스트 세트에서 Adaptive-NMS는 10.8% MR-2로 높은 성능을 달성하여 최신 기술 성능을 확보했다.
• CrowdHuman 검증 세트에서 Adaptive-NMS는 49.73% MR-2를 기록하여 기준 탐그리-NMS 및 소프트-NMS 방법을 능가했다.
• FPN 기반 검출기에서는 2.62% MR-2 향상, RFB Net 기반 검출기에서는 2.19% MR-2 향상으로, 탐그리-NMS 대비 일관된 성능 향상을 보였다.
• 학습된 밀도 하위망은 지역적 군중 밀도를 효과적으로 포착하여 중복된 진짜 양성 사례를 유지하는 데 기여하는 동적 임계값 조정을 가능하게 했다.
• 이 방법은 이중 단계 및 단일 단계 검출기 모두와 호환되며, 아키텍처 수정 없이도 일관된 성능 향상을 보였다.
• 추가 손실 항목이나 강력한 백본을 요구하지 않음에도 불구하고, Repulsion Loss 및 AggLoss와 같은 기존 접근법을 능가하는 성능을 보였다.