[논문 리뷰] NMS by Representative Region: Towards Crowded Pedestrian Detection by Proposal Pairing

Xin Huang, Zheng Ge외 2명|arXiv (Cornell University)|2020. 03. 28.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 31

한 줄 요약

시야 가시 영역을 활용하여 군중 현장에서 더 나은 NMS를 구현하는 R2NMS와 Paired-Box 모델을 제안하여 CrowdHuman과 CityPersons에서 최첨단 성능을 달성한다.

ABSTRACT

Although significant progress has been made in pedestrian detection recently, pedestrian detection in crowded scenes is still challenging. The heavy occlusion between pedestrians imposes great challenges to the standard Non-Maximum Suppression (NMS). A relative low threshold of intersection over union (IoU) leads to missing highly overlapped pedestrians, while a higher one brings in plenty of false positives. To avoid such a dilemma, this paper proposes a novel Representative Region NMS approach leveraging the less occluded visible parts, effectively removing the redundant boxes without bringing in many false positives. To acquire the visible parts, a novel Paired-Box Model (PBM) is proposed to simultaneously predict the full and visible boxes of a pedestrian. The full and visible boxes constitute a pair serving as the sample unit of the model, thus guaranteeing a strong correspondence between the two boxes throughout the detection pipeline. Moreover, convenient feature integration of the two boxes is allowed for the better performance on both full and visible pedestrian detection tasks. Experiments on the challenging CrowdHuman and CityPersons benchmarks sufficiently validate the effectiveness of the proposed approach on pedestrian detection in the crowded situation.

연구 동기 및 목표

• 심한 폐색이 있는 붐빼는 장면에서 보행자 탐지의 개선을 고무한다.
• 가시 영역을 활용하여 거짓 양성은 줄이고 진짜 양성은 보존하는 새로운 NMS 변형을 도입한다.
• 강한 대응성을 지닌 전체 바디 바운딩 박스와 가시 바디 박스를 공동으로 예측하는 PBM을 개발한다.
• CrowdHuman 및 CityPersons 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 가시 영역 IoU를 사용하여 전체 바디 박스 간 중첩 여부를 결정하는 대표 영역에 의한 NMS(R2NMS)를 도입한다.
• 동일 앵커로부터 전체 박스와 가시 박스를 예측하기 위해 Paired RPN, Paired Feature Extractor, Paired R-CNN으로 구성된 Paired-Box Model(PBM)을 개발한다.
• PBFE를 통해 짝지어진 전체/가시 제안에서 특징을 융합하여 보행자 전체 및 가시 탐지를 개선한다.
• 앵커 할당과 회귀를 안내하는 지상-truth 쌍 Q=(F,V)를 갖는 짝지어진 샘플 유닛으로 학습한다.
• MR, AP, Recall 지표를 사용하여 CrowdHuman과 CityPersons를 평가하고 AdaptiveNMS 및 Repulsion Loss와 비교한다.

실험 결과

연구 질문

• RQ1 가시 영역을Paired-box 표현으로 활용하면 붐빼는 보행자 탐지에서 NMS를 개선할 수 있는가?
• RQ2 R2NMS가 높은 가려짐 상황에서 중복 탐지를 줄이면서 거짓 양성을 증가시키지 않는가?
• RQ3 표준 Faster R-CNN 기반과 비교하여 짝지어진 전체/가시 박스 및 PPFE가 얼마나 큰 성능 향상을 제공하는가?
• RQ4 PBM+R2NMS가 전체 신체 및 가시 영역 작업에서 CrowdHuman, CityPersons 등 최첨단 벤치마크에 미치는 영향은 무엇인가?

주요 결과

• R2NMS는 기준선보다 탐지 지표(AP 및 Recall)를 향상시켜 붐빼는 장면 처리 능력이 좋아졌음을 시사한다.
• PPFE와 R2NMS를 포함한 PBM은 CrowdHuman에서 MR을 50.42에서 43.35로 감소시키고, AP를 89.29로, Recall을 93.33으로 상승시키며 최첨단 결과를 달성한다.
• CityPersons에서 마스크를 가진 PBM과 R2NMS는 합리적 가려짐(R) 및 중복 가려짐(HO) 하위집합에서 MR를 감소시킨다(예: R은 13.8에서 11.1로, HO는 59.0에서 53.3으로).
• PPFE 기반 특징 융합이 주목과 함께 단순 연결보다 유의한 향상을 제공한다.
• R2NMS는 설정 전반에서 AP와 Recall을 향상시키며, MR 개선은 가시 예측의 품질에 좌우된다. 전반적으로 이 방법은 강한 군중 탐지 이점을 보인다.