[논문 리뷰] Visibility Guided NMS: Efficient Boosting of Amodal Object Detection in Crowded Traffic Scenes

Nils Gählert, Niklas Hanselmann외 2명|arXiv (Cornell University)|2020. 06. 15.

Advanced Neural Network Applications참고 문헌 36인용 수 18

한 줄 요약

이 논문은 혼잡한 교통 상황에서 다모드 물체 검출 성능을 향상시키기 위해 조합된 픽셀 기반 및 다모드 바운딩 박스 예측을 활용하는 새로운 효율적인 NMS 변종인 Visibility Guided NMS (vg-NMS)를 제안한다. 픽셀 기반 박스에서 유도된 가시성 정보를 이용해 억제를 안내함으로써, vg-NMS는 고도로 가림을 입은 물체의 잘못된 억제를 줄이며, 표준 NMS 대비 평균 6.2%의 런타임 증가만으로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Object detection is an important task in environment perception for autonomous driving. Modern 2D object detection frameworks such as Yolo, SSD or Faster R-CNN predict multiple bounding boxes per object that are refined using Non-Maximum-Suppression (NMS) to suppress all but one bounding box. While object detection itself is fully end-to-end learnable and does not require any manual parameter selection, standard NMS is parametrized by an overlap threshold that has to be chosen by hand. In practice, this often leads to an inability of standard NMS strategies to distinguish different objects in crowded scenes in the presence of high mutual occlusion, e.g. for parked cars or crowds of pedestrians. Our novel Visibility Guided NMS (vg-NMS) leverages both pixel-based as well as amodal object detection paradigms and improves the detection performance especially for highly occluded objects with little computational overhead. We evaluate vg-NMS using KITTI, VIPER as well as the Synscapes dataset and show that it outperforms current state-of-the-art NMS.

연구 동기 및 목표

• 표준 NMS가 고도로 가림을 입은 다모드 물체를 높은 IoU 겹침으로 인해 잘못 억제하는 문제를 해결하기 위해.
• 추가적인 서브넷이나 상당한 계산 오버헤드 없이 다모드 물체 검출 성능을 향상시키기 위해.
• 가시성 인식 억제를 통해 자율 주행 시나리오에서 가림을 입은 차량과 보행자를 견고하게 검출할 수 있도록 하기 위해.
• 픽셀 기반 및 다모드 바운딩 박스의 동시 예측이 일반화 능력을 향상시키고 효과적인 NMS 안내를 가능하게 한다는 것을 입증하기 위해.

제안 방법

• 단일 네트워크에서 얻은 픽셀 기반 및 다모드 바운딩 박스 예측을 사용해 억제를 안내함으로써, 고정된 IoU 임계값에 의존하지 않는다.
• 예측 영역의 가시성에 따라 검출 결과를 우선순위 정렬하는 가시성 인식 억제 전략을 적용하여, 가림 상황에서의 잘못된 양성 결과를 줄인다.
• YOLO, SSD, Faster R-CNN와 같은 기존 물체 검출기와의 통합이 가능하며, 표준 NMS에 가시성 기반 필터링을 추가함으로써 원활한 통합을 이룬다.
• 지역화에 L2 손실과 분류에 Focal Loss를 사용해 엔드 투 엔드 학습을 가능하게 하여 두 검출 방식의 공동 최적화를 실현한다.
• 픽셀 기반 박스는 다모드 박스보다 자연스럽게 낮은 겹침을 가지므로, 소프트 NMS와 조합했을 때 후보 쌍의 수를 줄일 수 있다.
• 복잡한 아키텍처 수정이나 보조 헤드 없이도 표준 GT 애너테이션만으로도 두 박스 유형에 대해 학습이 가능하다.

실험 결과

연구 질문

• RQ1 픽셀 기반 바운딩 박스에서 유도된 가시성 정보가 고도로 가림된 상황에서 NMS의 억제 행동을 향상시킬 수 있는가?
• RQ2 픽셀 기반 및 다모드 박스의 동시 예측이 일반화 능력 향상과 검출 성능 향상에 기여하는가?
• RQ3 vg-NMS는 상당한 계산 오버헤드 없이 혼잡한 교통 상황에서 표준 NMS와 소프트 NMS를 초월할 수 있는가?
• RQ4 이중 박스 예측의 다중임무 학습 설정이 단일 임무 검출 성능 향상에 얼마나 기여하는가?
• RQ5 KITTI, VIPER, Synscapes 등의 벤치마크 데이터셋에서 vg-NMS는 mAP 및 추론 속도 측면에서 어떻게 성능을 내는가?

주요 결과

• vg-NMS는 평가된 모든 데이터셋에서 표준 NMS와 소프트 NMS를 능가하며, 특히 고밀도 객체를 포함한 VIPER 및 Synscapes에서 가장 큰 성능 향상을 보였다.
• Synscapes 데이터셋에서 vg-NMS는 다모드 검출에 대해 평균 정밀도(mAP) 86.67%를 달성하여 단일 임무 기준선인 85.31%를 초월했다.
• 소프트 NMS와 vg-NMS의 조합은 특히 혼잡한 상황에서 억제 오류를 줄이며 성능을 더욱 향상시켰다.
• vg-NMS는 표준 NMS 대비 평균 6.2%의 런타임 증가만을 보였으며, 이는 2ms 미만의 오버헤드로 효율적인 기존 예측 재사용 덕분이었다.
• 픽셀 기반 및 다모드 검출의 다중임무 설정은 KITTI에서 최대 1.2%까지, Synscapes에서는 최대 1.3%까지 단일 임무 mAP 향상을 이끌어내어 더 나은 특징 일반화 능력을 보였다.
• YOLO, SSD, Faster R-CNN와 같은 모든 현대 검출기와 호환되어 기존 파ip라인에 즉각 통합 가능하다.