[논문 리뷰] Repulsion Loss: Detecting Pedestrians in a Crowd

Xinlong Wang, Tete Xiao외 4명|arXiv (Cornell University)|2017. 11. 21.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 22

한 줄 요약

이 논문은 인체가 혼잡한 장면에서 보행자 검출 성능을 향상시키기 위해 타겟 객체로의 유인과 주변 비타겟 보행자로부터의 밀려남을 결합한 새로운 경계상자 회귀 손실인 Repulsion Loss(RepLoss)를 제안한다. 예측 결과가 인접한 보행자 쪽으로 이동하는 것을 방지함으로써 RepLoss는 국소화 정확도를 향상시키고, 가림을 견디는 능력을 향상시켜, CityPersons 및 Caltech-USA 벤치마크에서 특히 가림 상황에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Detecting individual pedestrians in a crowd remains a challenging problem since the pedestrians often gather together and occlude each other in real-world scenarios. In this paper, we first explore how a state-of-the-art pedestrian detector is harmed by crowd occlusion via experimentation, providing insights into the crowd occlusion problem. Then, we propose a novel bounding box regression loss specifically designed for crowd scenes, termed repulsion loss. This loss is driven by two motivations: the attraction by target, and the repulsion by other surrounding objects. The repulsion term prevents the proposal from shifting to surrounding objects thus leading to more crowd-robust localization. Our detector trained by repulsion loss outperforms all the state-of-the-art methods with a significant improvement in occlusion cases.

연구 동기 및 목표

• 혼잡한 보행자 장면에서의 검출 실패 원인, 특히 가림으로 인한 실패 원인을 규명하는 것.
• 국소화 과정에서 주변 객체를 무시하는 표준 회귀 손실의 한계를 해결하는 것.
• 비타겟 보행자로부터의 밀려남을 통합함으로써 내부 클래스 가림에 대한 탐지기의 강인성을 향상시키는 손실 함수를 설계하는 것.
• 표준 탐지기가 상자 이동과 NMS 억제로 인해 실패하는 매우 혼잡한 상황에서의 국소화 정확도 향상.
• 제안된 손실 함수의 일반화 능력을 보행자 검출을 넘어 일반 객체 검출 작업으로까지 확장 가능한지 검증하는 것.

제안 방법

• 타겟 객체로의 유인과 비타겟 다른 보행자로부터의 밀려남을 결합한 이중 구성 요소 손실인 Repulsion Loss(RepLoss)를 제안.
• RepGT 손실을 정의하여, 비타겟 지상 참 보행자와 겹치는 예측 상자를 IoU 기반으로 처벌.
• RepBox 손실을 정의하여 서로 다른 타겟의 예측 상자 간에 밀려남을 적용함으로써 NMS 민감도를 감소.
• 엔드 투 엔드 훈련을 위해 표준 Faster R-CNN 기반 탐지기에 RepLoss 통합.
• 유인과 밀려남을 측정하기 위해 IoU 기반의 거리 척도를 사용하여 회귀 과정에서 공간 일관성 확보.
• CityPersons 및 Caltech-USA 데이터셋에서 훈련하여, 가림 상황 하에서 성능 평가.

실험 결과

연구 질문

• RQ1 혼잡한 환경에서의 보행자 검출 성능 저하가 정확히 어떤 방식으로 발생하는가?
• RQ2 정확한 분류 성능를 보이는 경우에도 표준 경계상자 회귀 손실이 혼잡한 장면에서 실패하는 이유는 무엇인가?
• RQ3 비타겟 보행자로부터의 밀려남을 도입하면 가림 상황에서 국소화 강인성이 향상되는가?
• RQ4 RepLoss는 혼잡한 장면에서 NMS로 인한 오분류 및 누락 탐지 문제를 어떻게 줄이는가?
• RQ5 이러한 밀려남 메커니즘은 보행자 검출을 넘어 다른 객체 검출 작업으로도 일반화 가능한가?

주요 결과

• CityPersons 검증 세트에서 48.8%의 보행자가 다른 보행자와 IoU > 0.1을 가지며, 26.4%는 IoU > 0.3를 기록하여 심각한 가림이 있음을 확인.
• RepLoss는 이웃 보행자 쪽으로 상자 이동을 방지함으로써 혼잡한 장면에서 오분류 및 누락 탐지 수를 크게 감소시킨다.
• RepLoss로 훈련된 탐지기는 CityPersons 및 Caltech-USA 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• RepLoss는 특히 가림 상황에서의 정확도 향상으로 인해 내부 클래스 가림 처리에 효과적임을 입증한다.
• PASCAL VOC에서의 실험 결과 RepLoss는 보행자 검출 외에도 일반 객체 검출에도 유익함을 보여, 보편적 적용 가능성을 입증한다.
• RepBox 손실은 서로 다른 타겟의 예측 상자 간 공간적 분리 확보로 NMS 민감도를 감소시킨다.