[논문 리뷰] NOH-NMS: Improving Pedestrian Detection by Nearby Objects Hallucination

Penghao Zhou, Chong Zhou외 5명|arXiv (Cornell University)|2020. 07. 27.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 RoI 특징에서 주변 보행자를 모델링하는 가우시안 분포를 예측하는 Nearby Objects Hallucinator (NOH)를 사용하여 조밀한 영역에서 동적 억제 완화를 가능하게 하는 새로운 비최대 억제(NOH-NMS) 방법을 제안한다. 이는 CrowdHuman에서 89.0% AP, 92.9% 재현율, 43.9% MR-2의 최신 기준 성능을 달성하며, Greedy-NMS보다 각각 3.9% AP, 5.1% 재현율, 0.8% MR-2 향상된다.

ABSTRACT

Greedy-NMS inherently raises a dilemma, where a lower NMS threshold will potentially lead to a lower recall rate and a higher threshold introduces more false positives. This problem is more severe in pedestrian detection because the instance density varies more intensively. However, previous works on NMS don't consider or vaguely consider the factor of the existent of nearby pedestrians. Thus, we propose Nearby Objects Hallucinator (NOH), which pinpoints the objects nearby each proposal with a Gaussian distribution, together with NOH-NMS, which dynamically eases the suppression for the space that might contain other objects with a high likelihood. Compared to Greedy-NMS, our method, as the state-of-the-art, improves by $3.9\%$ AP, $5.1\%$ Recall, and $0.8\%$ $ ext{MR}^{-2}$ on CrowdHuman to $89.0\%$ AP and $92.9\%$ Recall, and $43.9\%$ $ ext{MR}^{-2}$ respectively.

연구 동기 및 목표

• 고밀도 보행자 시나리오에서 고정된 IoU 임계값이 재현율과 임의의 양성 결과 사이의 균형을 이룰 수 없는 Greedy-NMS의 본질적 딜레마를 해결하기 위해.
• 기존 NMS 변종인 Soft-NMS와 Adaptive-NMS가 주변 보행자의 공간적 맥락을 모델링하지 못하는 한계를 극복하기 위해.
• 주변 객체의 존재 가능성에 따라 억제를 동적으로 조정하는 방법을 설계하여 조밀한 상황에서의 검출 성능을 향상시키기 위해.
• 추가 애너테이션 없이 최소한의 계산 오버헤드로 최신 기준 성능을 달성하기 위해.

제안 방법

• Nearby Objects Hallucinator (NOH)는 RoI 특징을 사용하여 주변 보행자의 예상 위치와 크기를 모델링하는 4차원 가우시안 분포를 예측한다.
• 가우시안 분포는 주변 객체의 평균(예상 위치 및 형태)과 분산(불확실성)을 코딩하여 공간적 추론을 가능하게 한다.
• NOH-NMS는 환영된 가우시안 분포를 사용하여 주변 보행자가 존재할 가능성이 높은 영역에서 억제를 동적으로 감소시킨다.
• 이 방법은 일단계 및 이단계 검출기 모두에 거의 영향을 주지 않고 원활하게 통합될 수 있다.
• 가우시안 파라미터는 특징에서 예측되며, KL 손실을 사용할 경우 표준편차 σ를 엔드 투 엔드로 학습할 수 있지만, 본 연구에서는 경험적으로 설정되어 있다.
• 이 방법은 밀도 임계값 dt와 가우시안 표준편차 σ의 두 하이퍼파rameter를 도입하며, 넓은 범위에서 모두 안정적인 성능을 보임을 입증했다.

실험 결과

연구 질문

• RQ1 주변 보행자의 공간 분포를 모델링하면 고밀도 보행자 검출에서 NMS 성능을 향상시킬 수 있는가?
• RQ2 환영된 객체 분포 기반의 동적 억제 전략은 재현율과 임의의 양성 결과 사이의 트레이드오프를 줄이는가?
• RQ3 밀도 임계값 dt와 가우시안 표준편차 σ와 같은 하이퍼파rameter 선택에 대해 제안된 방법이 얼마나 강인한가?
• RQ4 NOH-NMS는 전체 신체 바운딩 박스 외에 추가 애너테이션이 필요 없이 최신 기준 성능을 달성할 수 있는가?

주요 결과

• NOH-NMS는 CrowdHuman 데이터셋에서 89.0% AP, 92.9% 재현율, 43.9% MR-2를 달성하며, 강력한 Greedy-NMS 기준보다 각각 3.9% AP, 5.1% 재현율, 0.8% MR-2 향상되었다.
• CityPersons에서의 성능은 10.8% MR-2를 기록하여, CrowdHuman 외의 환경에서도 뛰어난 일반화 능력을 보였다.
• 하이퍼파rameter 선택에 대해 매우 강인한 성능을 보였으며, dt(0.2–0.5)와 σ 값의 넓은 범위에서 성능 변화가 미미했다.
• NOH-NMS는 Greedy-NMS보다 IoU 임계값 Nt에 덜 민감하며, 모든 재현율 수준에서 뛰어난 성능을 유지했다.
• 정성적 결과는 NOH가 주변 보행자를 성공적으로 환영하고, NOH-NMS가 Greedy-NMS와 Adaptive-NMS가 놓친 검출을 복구할 수 있음을 확인했다.
• 제거 분석 결과, 동일한 강력한 기준 기반으로 재현구현한 NOH-NMS가 Soft-NMS와 Adaptive-NMS를 항상 뛰어넘는 성능을 보였다.