[논문 리뷰] H2RBox-v2: Incorporating Symmetry for Boosting Horizontal Box Supervised Oriented Object Detection

Yi Yu, Xue Yang외 5명|arXiv (Cornell University)|2023. 04. 10.

Advanced Neural Network Applications인용 수 17

한 줄 요약

H2RBox-v2는 대칭성으로부터 객체 방향성을 학습하기 위한 대칭 인식 자가지도 분기를 도입하고, 약지도 분기에서 CircumIoU 손실과 결합하여 약한 감독 하에서 HBox 기반과 RBox 기반의 방향성 객체 탐지를 잇는 다리를 놓는다.

ABSTRACT

With the rapidly increasing demand for oriented object detection, e.g. in autonomous driving and remote sensing, the recently proposed paradigm involving weakly-supervised detector H2RBox for learning rotated box (RBox) from the more readily-available horizontal box (HBox) has shown promise. This paper presents H2RBox-v2, to further bridge the gap between HBox-supervised and RBox-supervised oriented object detection. Specifically, we propose to leverage the reflection symmetry via flip and rotate consistencies, using a weakly-supervised network branch similar to H2RBox, together with a novel self-supervised branch that learns orientations from the symmetry inherent in visual objects. The detector is further stabilized and enhanced by practical techniques to cope with peripheral issues e.g. angular periodicity. To our best knowledge, H2RBox-v2 is the first symmetry-aware self-supervised paradigm for oriented object detection. In particular, our method shows less susceptibility to low-quality annotation and insufficient training data compared to H2RBox. Specifically, H2RBox-v2 achieves very close performance to a rotation annotation trained counterpart -- Rotated FCOS: 1) DOTA-v1.0/1.5/2.0: 72.31%/64.76%/50.33% vs. 72.44%/64.53%/51.77%; 2) HRSC: 89.66% vs. 88.99%; 3) FAIR1M: 42.27% vs. 41.25%.

연구 동기 및 목표

• 대칭 기반 학습을 활용하여 HBox-감독과 RBox-감독의 방향성 객체 탐지 간 격차를 해소하려는 동기를 제시한다.
• 정밀한 각도 주석 없이 객체 방향성을 학습하기 위해 반사 대칭성을 활용한다.
• 주석 노이즈와 데이터 부족에 대한 강인성을 개선하면서 임의 회전 증강과의 호환성을 가능하게 한다.

제안 방법

• Flip 및 rotate 일관성으로 객체 방향을 학습하는 자가지도 분기를 도입한다.
• 회전된 기준 상자를 사용하는 직접 상자 회귀를 가능하게 하려 weakly-supervised 분기에 CircumIoU 손실을 제안한다.
• 각도 주기의 주기성 및 경계 문제를 다루기 위해 PSC 각도 코더와 snap 손실을 사용한다.
• 약강사 분기(HBox-based)와 자가지도 대칭 분기를 결합한 단일 학습 목표를 유지한다.
• 추론 시에는 백본, 각도 헤드 및 표준 헤드만 배치하고 다중 분기 View 생성을 사용하지 않는다.
• PyTorch/MMRotate 기반 구현 및 오픈 소스 코드를 제공한다.

실험 결과

연구 질문

• RQ1 대칭성 기반 자가지도 학습이 HBox 주석만으로도 정확한 방향 각을 학습할 수 있는가?
• RQ2 같은 백본에서 대칭성 도입이 전체 RBox-감독 탐지기와의 성능 차를 줄이는가?
• RQ3 CircumIoU 손실은 임의 회전 증강과 호환되며 주석 노이즈에 더 강인한가?
• RQ4 표준 방향성 객체 탐지 벤치마크에서 H2RBox-v2의 성능은 H2RBox 및 RBox-감독 기준선과 비교해 어떠한가?

주요 결과

Method	Schedule	Multi-scale (MS)	Rotation Random (RR)	Image Size	FPS	AP50
H2RBox-v2 (FCOS-based)	1x			960	31.6	71.46
H2RBox-v2 (FCOS-based)	1x			1,024	29.1	72.31
H2RBox-v2 (FCOS-based)	3x	✓	✓	1,024	29.1	74.29
H2RBox-v2 (FCOS-based)	1x	✓		1,024	29.1	77.97
H2RBox-v2 (FCOS-based)	1x	✓	✓	1,024	29.1	78.25
H2RBox-v2 (FCOS-based, Swin-T)	1x	✓	✓	1,024	24.0	79.39
H2RBox-v2 (FCOS-based, Swin-B)	1x	✓	✓	1,024	12.4	80.61

• H2RBox-v2는 같은 백본에서 여러 데이터셋(DOTA 변형, HRSC, FAIR1M 등)에서 회전 주석 학습 성능에 근접하다.
• MS와 RR를 적용하면 H2RBox-v2는 AP50/AP75 지표에서 RBox-감독 FCOS와의 격차를 단 0.13–0.46 포인트로 줄인다.
• CircumIoU 손실은 회전된 기준 상자를 사용한 직접 상자 회귀를 가능하게 하고 임의 회전 증강을 허용하여 강건성을 향상시킨다.
• 대칭 기반 자가지도 분기는 flip 및 rotate 일관성을 통해 안정적인 각도 학습을 제공하며 PSC 및 snap 손실의 도움을 받는다.
• H2RBox-v2는 주석 노이즈와 데이터 부족에 대한 강건성을 보여주며 여러 벤치마크에서 H2RBox를 능가하고, FAIR1M에서 일부 전체 지도 기준선보다도 성능을 초과한다.