[논문 리뷰] Hashing-based Non-Maximum Suppression for Crowded Object Detection

Jianfeng Wang, Xi Yin외 2명|arXiv (Cornell University)|2020. 05. 22.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 7

한 줄 요약

이 논문은 객체 검출을 가속화하기 위해 경계 박스를 이격된 셀에 해시 함수를 사용해 할당하는 IoU 인식 해시 함수(IoUHash)를 사용하는 새로운 O(N) 알고리즘인 해시 기반 비최대 억제(HNMS)를 제안한다. 이로 인해 같은 셀에 속한 박스들은 보장된 IoU 임계값 이내에 위치하게 되며, CPU 기준 최대 7.4배, GPU 기준 최대 6.8배의 속도 향상을 이룩했으며, mAP는 유사하거나 향상된 성능을 보였다. 특히 혼잡한 장면에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we propose an algorithm, named hashing-based non-maximum suppression (HNMS) to efficiently suppress the non-maximum boxes for object detection. Non-maximum suppression (NMS) is an essential component to suppress the boxes at closely located locations with similar shapes. The time cost tends to be huge when the number of boxes becomes large, especially for crowded scenes. The basic idea of HNMS is to firstly map each box to a discrete code (hash cell) and then remove the boxes with lower confidences if they are in the same cell. Considering the intersection-over-union (IoU) as the metric, we propose a simple yet effective hashing algorithm, named IoUHash, which guarantees that the boxes within the same cell are close enough by a lower IoU bound. For two-stage detectors, we replace NMS in region proposal network with HNMS, and observe significant speed-up with comparable accuracy. For one-stage detectors, HNMS is used as a pre-filter to speed up the suppression with a large margin. Extensive experiments are conducted on CARPK, SKU-110K, CrowdHuman datasets to demonstrate the efficiency and effectiveness of HNMS. Code is released at \url{https://github.com/microsoft/hnms.git}.

연구 동기 및 목표

• 수천 개의 후보 경계 박스가 존재하는 혼잡한 객체 검출 환경에서 기존 NMS의 높은 계산 비용을 해결하기 위해 O(N²) 복잡도가 기하급수적으로 증가하는 문제를 해결한다.
• 앵커의 근접성과 회귀 일관성에 대한 증명되지 않은 가정에 의존하는 기존 NMS 가속화 방법(예: MaxPoolNMS)의 한계를 극복한다.
• 같은 해시 셀에 속한 박스들 간에 IoU 기반의 근접성을 보장하는 해시 체계를 설계하여, 정확도를 희생시키지 않은 채 억제 품질을 확보한다.
• 두 단계 검출기와 한 단계 검출기 양쪽 모두에 효율적이고 확장 가능한 NMS를 가능하게 하기 위해 HNMS를 직접 교체하거나 사전 필터링 단계로 통합한다.
• 특히 고밀도 환경에서 뛰어난 성능을 발휘하는 동시에 추론 속도를 크게 향상시키면서도 검출 mAP를 유지하거나 略로 향상시킨다.

제안 방법

• 경계 박스의 크기(로그 척도)와 오프셋(자연 척도)를 기반으로 해시 셀에 매핑하는 새로운 해시 함수인 IoUHash를 제안하여, 같은 셀에 속한 박스들 간에 IoU 근접성을 보장한다.
• 같은 해시 셀 내의 두 박스 간 IoU에 대한 이론적 하한선을 유도하여, 충분히 유사한 박스들만 그룹화됨을 보장한다.
• 경계 효과를 완화하기 위해 서로 다른 해시 매개변수를 사용해 HNMS를 다중으로 적용한다. 이는 근접한 박스들이 인접한 셀에 분포하는 문제를 완화한다.
• 두 단계 검출기의 경우, RPN의 NMS를 HNMS로 직접 교체하여 정확도 손실 없이 속도 향상을 달성한다.
• 한 단계 검출기의 경우, HNMS를 사전 필터링 단계로 사용하여 표준 NMS로 전달되는 박스 수를 극적으로 줄여 전체 파이프라인의 처리 속도를 향상시킨다.
• 양성 박스를 유지하기 위해 사전 필터링 시 더 높은 IoU 임계값(α = 0.73)을 사용하며, 이 경우 이론적 하한선은 0.502로, 표준 NMS 임계값(0.5)을 略로 초월한다.

실험 결과

연구 질문

• RQ1 해시 기반 접근 방식을 통해 O(N²) 복잡도의 NMS를 O(N)으로 감소시킬 수 있을까? 이는 혼잡한 장면에서 정확도를 유지할 수 있는가?
• RQ2 특화된 해시 함수를 설계하여 같은 해시 셀에 속한 박스들 간에 IoU 기반의 근접성을 보장할 수 있을까? 이를 통해 안전한 억제가 가능할까?
• RQ3 두 단계 검출기(예: RPN)에서 HNMS가 NMS의 직접 교체로 사용되었을 때, 속도와 정확도 측면에서 얼마나 효과적인가?
• RQ4 한 단계 검출기에서 HNMS가 사전 필터링 단계로 사용되었을 때, mAP를 떨어뜨리지 않고 NMS 처리를 얼마나 빠르게 가속화할 수 있는가?
• RQ5 실제 검출 벤치마크에서 후보 박스 수가 변할 경우와 CPU vs. GPU 등 다양한 하드웨어 환경에서 HNMS의 성능은 어떠한가?

주요 결과

• CARPK 데이터셋에서 HNMS는 CPU 모드에서 정확도 손실 없이 7.4배의 속도 향상을 기록했으며, 추론 시간을 10ms 이하로 줄였고, mAP는 NMS의 95.4%에서 HNMS의 96.4%로 향상되었다.
• GPU 모드에서 HNMS는 CARPK에서 최대 6.8배, SKU-110K에서 K=4 사전 필터링을 사용할 경우 최대 9.1배의 속도 향상을 기록했으며, mAP는 0.1포인트 감소했지만 사전 필터링 시간이 증가한 대가를 감수했다.
• GPU 환경에서 HNMS는 입력 크기에 대해 낮은 민감도를 보였다: 박스 수가 1,000에서 9,000으로 증가하더라도 처리 시간은 2.4ms에서 2.9ms로 뿐만 아니라 증가하여 강력한 병렬 처리 효율성을 보였다.
• 모든 데이터셋(CARPK, SKU-110K, CrowdHuman)에서 표준 NMS와 유사하거나 略로 향상된 mAP를 유지했으며, CPU 및 GPU 환경에서 일관된 속도 향상 효과를 보였다.
• α=0.73일 때 IoUHash 함수는 같은 셀 내의 박스들 간 IoU에 대해 이론적 하한선 0.502를 보장하여 억제 품질에 대한 증명 가능한 보장을 제공한다.
• RetinaNet에서 HNMS를 사전 필터링으로 사용했을 때, GPU 환경에서 SKU-110K에서 총 NMS 처리 시간을 최대 9.1배까지 줄였으며, mAP는 최소한의 감소를 보였다. 이는 한 단계 검출 파이프라인에서의 뛰어난 확장성을 입증한다.