[논문 리뷰] Beta R-CNN: Looking into Pedestrian Detection from Another Perspective

Zixuan Xu, Banghuai Li외 2명|arXiv (Cornell University)|2022. 10. 23.

Advanced Neural Network Applications참고 문헌 18인용 수 23

한 줄 요약

본 논문은 2D beta distribution을 기반으로 보행자를 모델링하는 Beta Representation을 도입하고, Beta R-CNN(BetaHead and BetaMask) 및 BetaNMS를 제시하여 가려지거나 붐비는 장면에서 탐지를 개선한다.

ABSTRACT

Recently significant progress has been made in pedestrian detection, but it remains challenging to achieve high performance in occluded and crowded scenes. It could be attributed mostly to the widely used representation of pedestrians, i.e., 2D axis-aligned bounding box, which just describes the approximate location and size of the object. Bounding box models the object as a uniform distribution within the boundary, making pedestrians indistinguishable in occluded and crowded scenes due to much noise. To eliminate the problem, we propose a novel representation based on 2D beta distribution, named Beta Representation. It pictures a pedestrian by explicitly constructing the relationship between full-body and visible boxes, and emphasizes the center of visual mass by assigning different probability values to pixels. As a result, Beta Representation is much better for distinguishing highly-overlapped instances in crowded scenes with a new NMS strategy named BetaNMS. What's more, to fully exploit Beta Representation, a novel pipeline Beta R-CNN equipped with BetaHead and BetaMask is proposed, leading to high detection performance in occluded and crowded scenes.

연구 동기 및 목표

• 전통적인 2D 바운딩 박스 를 넘어 가려지거나 혼잡한 장면에서 보행자 탐지를 개선하도록 동기를 부여한다.
• 전신과 가시 패턴을 단일 확률 모델로 통합하는 Beta Representation을 제안한다.
• Beta Representation을 활용해 더 나은 위치 추정 및 구분력을 제공하는 Beta R-CNN(BetaHead와 BetaMask) 탐지기를 개발한다.
• 상호 중첩이 큰 인스턴스를 구분하기 위해 KL-발산을 사용하는 beta-분포 기반의 NMS(BetaNMS)를 도입한다.

제안 방법

• 8개의 값 [l,t,r,b,alpha_x,beta_x,alpha_y,beta_y]로 매개변수화된 2D beta distribution를 Beta Representation으로 정의한다. 이 값들은 전신 박스와 가시 박스로부터 유도된다.
• x축 및 y축의 평균과 분산을 계산하여 회귀 타깃 [l,t,r,b, mu_x, mu_y, sigma_x, sigma_y]를 얻고, 서술된 대로 정규화를 수행한다.
• BetaHead를 도입하여 네 경계 파라미터와 네 형태 파라미터를 통해 8개의 beta 매개변수를 회귀하고 SmoothL1 손실을 사용한다.
• BetaMask를 도입하여 예측된 2D beta distribution에서 샘플링된 마스크로 RoI 특징을 조절하고 보이는 영역을 강조한다. 실제 베타 마스크에 대한 KL 발산 손실로 학습한다.
• Beta-based NMS(BetaNMS)의 거리 메트릭으로 KL 발산을 채택하고, 베타 분포 간의 대칭화된 KL 발산을 사용하여 IoU 기반 NMS보다 겹침을 더 효과적으로 억제한다.

실험 결과

연구 질문

• RQ1 beta-distribution-based 표현이 전통적인 바운딩 박스보다 가려지거나 심하게 겹친 보행자를 더 잘 구분할 수 있는가?
• RQ2 BetaHead/BetaMask가 가려지거나 혼잡한 장면에서 위치 추정과 인식력을 개선하는가?
• RQ3 혼잡한 보행자 상황에서 BetaNMS가 IoU 기반 NMS보다 더 효과적인가?

주요 결과

• Beta Representation은 시각적 질량의 중심에 집중하고 균일한 박스보다 가시성 변화에 더 잘 대응하므로 가려짐 및 혼잡에서 구분에 도움을 준다.
• BetaHead와 BetaMask가 혼잡한 데이터셋에서 MR^-2와 AP를 향상시키며 가려짐 및 군집 기반 시나리오에서 이점을 보여준다.
• KL 발산을 사용하는 BetaNMS는 고도로 겹친 인스턴스에 대해 IoU 기반 NMS 및 기타 대안들보다 우수하다.
• 제안된 구성요소를 갖춘 Beta R-CNN은 CrowdHuman 및 CityPersons 벤치마크에서 특히 심한 가려짐/부분집합 장면에서 최첨단 또는 경쟁력 있는 결과를 달성한다.