[논문 리뷰] Learning to Separate: Detecting Heavily-Occluded Objects in Urban Scenes

Chenhongyi Yang, Vitaly Ablavsky외 3명|arXiv (Cornell University)|2019. 12. 03.

Advanced Neural Network Applications참고 문헌 46인용 수 4

한 줄 요약

이 논문은 도로에서의 중첩된 물체 탐지 성능을 향상시키기 위해 의미적 특징과 기하학적 특징을 함께 학습하는 새로운 Semantics-Geometry Non-Maximum Suppression (SG-NMS) 알고리즘을 제안한다. 이 방법은 SG-Det 모델에 통합되어 KITTI 및 CityPersons 데이터셋에서 최고 성능을 기록하며, 하드 탐지 수준에서 3.84 pp 향상과 함께 기존 최고 수준의 방법 대비 10배 빠른 속도를 확보한다.

ABSTRACT

While visual object detection with deep learning has received much attention in the past decade, cases when heavy intra-class occlusions occur have not been studied thoroughly. In this work, we propose a Non-Maximum-Suppression (NMS) algorithm that dramatically improves the detection recall while maintaining high precision in scenes with heavy occlusions. Our NMS algorithm is derived from a novel embedding mechanism, in which the semantic and geometric features of the detected boxes are jointly exploited. The embedding makes it possible to determine whether two heavily-overlapping boxes belong to the same object in the physical world. Our approach is particularly useful for car detection and pedestrian detection in urban scenes where occlusions often happen. We show the effectiveness of our approach by creating a model called SG-Det (short for Semantics and Geometry Detection) and testing SG-Det on two widely-adopted datasets, KITTI and CityPersons for which it achieves state-of-the-art performance.

연구 동기 및 목표

• 도시 환경에서 심한 중첩이 발생할 경우 기존 NMS의 성능 저하 문제를 해결하기 위해.
• 내부 클래스 중첩 상황에서 정밀도를 유지하면서 탐지 재현율을 향상시키기 위해.
• 동일한 물체에서 유래한 겹치는 박스와 다른 물체에서 유래한 박스를 구분할 수 있는 방법을 개발하기 위해.
• 의미적 특징과 기하학적 특징을 모두 반영하는 새로운 임bedding 메커니즘을 통해 탐지기의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 심한 중첩 상황에서 자동차 및 보행자 탐지에 대해 벤치마크 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 박스의 의미적 특징(ROI 정렬 특징에서 유도)과 기하학적 특징(IoU, 종횡비, 크기)을 함께 인코딩하는 Semantics-Geometry Embedding (SGE)를 제안한다.
• 동일한 물체에서 온 박스는 임베딩 공간에서 가까이, 다른 물체에서 온 박스는 분리되도록 보장하기 위해 분리 손실과 그룹 손실을 조합한 새로운 손실 함수를 도입한다.
• 각 헤드에 자기주의(self-attention)를 통합한 순차적 영역 기반의 완전 컨volution 네트워크(Sequential R-FCN)를 설계하여 의미적 특징과 기하학적 특징의 정밀한 정렬을 통해 엔드 투 엔드 학습을 가능하게 한다.
• 동일한 물리적 물체에서 유래한 중복 탐지만을 제거하는 SGE 거리 기반의 비표준 NMS 변형인 SG-NMS를 개발한다. 이로써 중첩된 물체의 진짜 양성 예측를 유지할 수 있다.
• 노이즈 민감도와 의미적 구분 능력의 균형을 맞추기 위해 SGE 손실에 학습 가능한 임계값 파라미터 ρ를 도입하였으며, 격자 탐색을 통해 최적화하였다.
• Sequential R-FCN과 SG-NMS를 통합하여 추론을 위한 유일한 모델인 SG-Det을 구성하였다.

실험 결과

연구 질문

• RQ1 의미적 특징과 기하학적 특징을 융합한 학습된 임베딩이 서로 다른 중첩된 물체에서 온 겹치는 박스를 효과적으로 분리할 수 있는가?
• RQ2 SG-NMS는 중첩된 물체 탐지 벤치마크에서 그리디-NMS와 소프트-NMS보다 재현율과 정밀도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 제안된 SGE와 SG-NMS는 탐지기와 함께 엔드 투 엔드 학습이 가능하며, 추론 시간을 증가시키지 않고 성능 향상을 이룰 수 있는가?
• RQ4 SGE 손실의 하이퍼파rameter ρ의 선택이 다양한 중첩 수준에서 성능에 어떤 영향을 미치는가?
• RQ5 SG-Det은 하드 및 심한 중첩 설정에서 KITTI 및 CityPersons에서 얼마나 높은 최고 수준의 성능을 달성하는가?

주요 결과

• KITTI 테스트 세트(중간 수준)에서 SG-Det은 95.81%의 AP를 기록하여 랭킹에서 3위를 차지하였으며, 4위 메서드 대비 3.84 pp 향상된 성능을 보였다.
• CityPersons 데이터셋에서 SG-NMS-Square는 부분 중첩 수준에서 10.7%의 미스율을 기록했고, 심한 중첩 수준에선 51.1%로 기존 방법들을 능가하였다.
• KITTI의 하드 탐지 수준에서 4위 메서드 대비 3.84 pp의 재현율 향상을 기록하였으며, 0.20초의 빠른 추론 시간을 유지하였다.
• SGE 손실의 최적 ρ 값은 0.27이며, 이 값 이하 또는 초과 시 노이즈 민감도 또는 의미적 구분 능력 부족으로 인해 성능 저하가 발생한다.
• SG-NMS-Linear와 SG-NMS-Square는 합리적인 난이도 수준에서 각각 0.2 pp와 0.7 pp의 미스율 향상을 기록하여 다양한 중첩 수준에서 일관된 성능 향상을 보였다.
• SG-Det은 높은 정확도를 달성했음에도 불구하고, RRC 및 SenseKITTI와 같은 상위 랭킹 메서드보다 10배 이상 빠른 속도를 확보하였다.