[논문 리뷰] SCRDet++: Detecting Small, Cluttered and Rotated Objects via Instance-Level Feature Denoising and Rotation Loss Smoothing

Xue Yang, Junchi Yan외 4명|arXiv (Cornell University)|2020. 04. 28.

Advanced Neural Network Applications인용 수 35

한 줄 요약

SCRDet++는 Instance-Level Denoising(InLD)와 IoU-based rotation loss를 도입하여 작고, 산만하고 회전된 물체를 강건하게 탐지하고, 항공 및 자연 데이터셋 전반의 성능을 높이며 새로운 S2TLD 교통 신호등 데이터셋을 공개합니다.

ABSTRACT

Small and cluttered objects are common in real-world which are challenging for detection. The difficulty is further pronounced when the objects are rotated, as traditional detectors often routinely locate the objects in horizontal bounding box such that the region of interest is contaminated with background or nearby interleaved objects. In this paper, we first innovatively introduce the idea of denoising to object detection. Instance-level denoising on the feature map is performed to enhance the detection to small and cluttered objects. To handle the rotation variation, we also add a novel IoU constant factor to the smooth L1 loss to address the long standing boundary problem, which to our analysis, is mainly caused by the periodicity of angular (PoA) and exchangeability of edges (EoE). By combing these two features, our proposed detector is termed as SCRDet++. Extensive experiments are performed on large aerial images public datasets DOTA, DIOR, UCAS-AOD as well as natural image dataset COCO, scene text dataset ICDAR2015, small traffic light dataset BSTLD and our released S$^2$TLD by this paper. The results show the effectiveness of our approach. The released dataset S2TLD is made public available, which contains 5,786 images with 14,130 traffic light instances across five categories.

연구 동기 및 목표

• challenging scenes(특히 항공 영상)에서 작고, 혼잡하고 임의로 회전된 물체의 견고한 탐지를 촉진한다.
• 특성 맵에서 범주 신호를 분리하고 배경/물체 간 간섭을 억제하기 위한 플러그인 디노이징 모듈(InLD)을 제안한다.
• 회전 회귀 손실의 회전 경계 문제를 해결하기 위한 IoU 기반 개선(IoU-smooth L1)을 개발한다.
• 다양한 데이터셋(항공 및 자연 이미지)에서 통계적 이득을 보여주고 교통 신호등을 위한 새로운 데이터셋(S2TLD)을 공개한다.
• InLD가 이미지 수준 디노이징(ImLD)보다 성능이 우수하고 기존 검출기에 통합될 수 있음을 보여준다.

제안 방법

• 네 가지 모듈로 구성된 SCRDet++ 아키텍처: (i) 특징 추출, (ii) 선택적 이미지 수준 디노이징(ImLD), (iii) 특징 맵에서의 인스턴스 수준 디노이징(InLD), (iv) 물체 가능성, 분류 및 회전 바운딩 박스 예측을 위한 클래스+박스 분支.
• InLD는 범주별로 특징 신호를 분리하여 범주별 반응을 별도의 채널로 이동시키고 객체 영역을 강화하며 공간 도메인에서 배경을 억제합니다.
• InLD 구현은 시맨틱 세그멘테이션 가이드 접근법과 확장 합성곱을 사용하여 원-핫(또는 다중 채널) 범주 맵을 생성하고 특징 맵을 게이트하며, Y = D_InLD(X) ⊙ X 로 decoupled 특징 맵을 만듭니다.
• 학습 중에 픽셀 단위의 소프트맥스 교차 엔트로피 InLD 손실 L_InLD가 디노이징을 감독하여 클래스 내부 경계를 선명하게 하고 클래스 간 간섭을 억제합니다.
• 물체 회전에 대한 경계 문제를 완화하기 위해 각도 주기성과 모서리 교환성에서 발생하는 경계 문제를 완화하는 IoU-추가 스무스 L1 손실(IoU-smooth L1)을 회전 회귀에 제안하며, 직접 또는 간접(sin/cos) 각도 표현을 사용할 수 있습니다.
• 손실은 객체 가능성 가중치, 분류(Focal 손실), 회귀(스무스 L1 또는 IoU 기반 변형), InLD 감독을 결합합니다: L = L_reg + L_cls + L_InLD with an optional IoU factor as described in Eq. 13.

실험 결과

연구 질문

• RQ1 인스턴스 수준 특징 디노이징(InLD)이 ImLD 및 베이스라인 검출기와 비교하여 소형 및 혼잡 물체 탐지를 개선하는가?
• RQ2 IoU-smooth L1 손실이 임의 방향 물체 탐지에서 회전 경계 문제를 효과적으로 해결하는가?
• RQ3 SCRDet++은 표준 회전 물체 데이터세트(DOTA, DIOR, UCAS-AOD) 및 자연 이미지 대상(COCO, ICDAR2015, BSTLD, S2TLD)에서 최신 방법에 비해 어떤 성능을 보이는가?
• RQ4 InLD가 기존 검출기에 최소한의 오버헤드로 플러그인 형태로 통합될 수 있는가 그리고 이전 컨퍼런스 버전과 비교하여 어떤 차이가 있는가?
• RQ5 제공된 S2TLD 교통 신호등 데이터셋이 실제 소형 물체 시나리오에서 InLD를 검증하는 데 어떤 영향을 미치는가?

주요 결과

• InLD는 탐지 성능을 향상시키며, 항공 및 회전 작업에서 ImLD 및 기본 방법 대비 향상된 결과를 보이는 제거 실험(ablation)들이 제시된다.
• 컨퍼런스 버전과 비교하여 저널 SCRDet++은 전체 탐지 정확도가 더 높아진다(예: DOTA-v1.0의 OBB에서 76.81% 대 72.61%; DOTA-v1.0의 HBB에서 79.35% 대 75.35%).
• InLD 모듈은 가벼운 매개변수/계산 오버헤드로 구현 가능하며 기존 검출기에 플러그인 형태로 통합되어 회전 및 소형 물체 탐지를 향상시킨다.
• IoU-smooth L1 손실은 회전 회귀의 경계 관련 불안정성을 줄여 회전 바운딩 박스의 정확도를 높인다.
• 실세계 교통 신호등 데이터셋 S2TLD(5,786 이미지, 14,130 인스턴스, 5개 카테고리)를 공개하여 항공 영상 외의 환경에서도 InLD를 검증한다.
• 표형 실험(ablation, 예: Table II)에서 InLD 변형(이진 대 다중 마스크, 객체성 결합 여부)이 기본 모델 대비 측정 가능한 이득을 보인다.
• 전반적으로 SCRDet++은 대규모 항공 데이터세트(DOTA, DIOR, UCAS-AOD)에서 강력한 성능을 달성하고 자연 이미지 데이터셋(COCO, ICDAR2015) 및 맞춤 데이터셋(BSTLD, S2TLD)에서도 강인성을 보인다.