[논문 리뷰] Dense Label Encoding for Boundary Discontinuity Free Rotation Detection

Xue Yang, Liping Hou외 3명|arXiv (Cornell University)|2020. 11. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 66인용 수 18

한 줄 요약

이 논문은 각도 분류를 통한 회전 감지에 대해 경계 불연속성 문제를 제거하기 위해 Densely Coded Labeling (DCL)을 제안한다. 두 개의 Densely Coded Labels (DCL)와 각도 거리 및 종횡비 민감한 가중치 부여(ADARSW)를 도입함으로써, 훈련 속도를 약 3배 빠르게 하고 DOTA 및 HRSC2016와 같은 도전적인 데이터셋에서 mAP를 최대 2.3% 향상시켜, 정확도와 효율성이 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Rotation detection serves as a fundamental building block in many visual applications involving aerial image, scene text, and face etc. Differing from the dominant regression-based approaches for orientation estimation, this paper explores a relatively less-studied methodology based on classification. The hope is to inherently dismiss the boundary discontinuity issue as encountered by the regression-based detectors. We propose new techniques to push its frontier in two aspects: i) new encoding mechanism: the design of two Densely Coded Labels (DCL) for angle classification, to replace the Sparsely Coded Label (SCL) in existing classification-based detectors, leading to three times training speed increase as empirically observed across benchmarks, further with notable improvement in detection accuracy; ii) loss re-weighting: we propose Angle Distance and Aspect Ratio Sensitive Weighting (ADARSW), which improves the detection accuracy especially for square-like objects, by making DCL-based detectors sensitive to angular distance and object's aspect ratio. Extensive experiments and visual analysis on large-scale public datasets for aerial images i.e. DOTA, UCAS-AOD, HRSC2016, as well as scene text dataset ICDAR2015 and MLT, show the effectiveness of our approach. The source code is available at https://github.com/Thinklab-SJTU/DCL_RetinaNet_Tensorflow and is also integrated in our open source rotation detection benchmark: https://github.com/yangxue0827/RotationDetection.

연구 동기 및 목표

• 주기적인 각도 회귀와 모서리 교환 가능성으로 인해 발생하는 경계 불연속성 문제를 해결하기 위해.
• 분류 기반 회전 감지기의 훈련 효율성과 정확도를 향상시키기 위해.
• 희소 코딩 레이블(SCL)과 회귀 방식의 단점을 피하는 경량이고 강건한 각도 분류 프레임워크를 개발하기 위해.
• 특히 정사각형에 가까운 객체와 고종횡비 객체에 대해 각도 거리와 종횡비에 대한 민감도를 향상시키기 위해.
• 기존 감지기인 RetinaNet과 R3Det와 호환되는 일반화 가능하고 고성능 솔루션을 구축하기 위해.

제안 방법

• 희소 코딩 레이블(SCL)을 대체하기 위해 이중 Densely Coded Labels (DCL) — 이진 코드 레이블링(BCL)과 그레이 코드 레이블링(GCL) — 를 제안하여 코드 길이를 감소시키고 훈련 속도를 향상시킨다.
• 각도 거리와 종횡비 민감한 가중치 부여(ADARSW)를 도입하여, 각도 거리가 가까운 예측과 극단적인 종횡비를 가진 객체에 대해 더 높은 가중치를 할당하는 손실 재가중 전략을 구현한다.
• 경계 상자에 대해 긴 쪽 정의(180° 범위)를 사용하여 모서리 교환 가능성(EoE)과 주기성(PoA) 문제를 내재적으로 해결한다.
• DCL를 사용한 교차 엔트로피 손실을 적용하여 엔드 투 엔드 훈련을 가능하게 하며, 각 레이블이 고유한 각도 카테고리에 대응하고 밀도 높은 연속적 코딩을 구현한다.
• PCA를 활용해 각도 특징 표현을 시각화하여 DCL가 의미 있는 분류 가능 특징 학습을 가능하게 함을 확인한다.
• DCL를 RetinaNet과 R3Det에 통합하여 다양한 아키텍처에서 호환성과 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 분류 기반 회전 감지에서 희소 코딩 레이블(SCL) 대비 각도 레이블의 조밀한 코딩이 훈련 시간을 크게 단축시키는가?
• RQ2 제안된 ADARSW 손실 재가중 전략은 특히 정사각형에 가까운 객체와 고종횡비 객체에서 정확도 향상에 기여하는가?
• RQ3 DCL 기반 감지기는 경계 불연속성 문제 없이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 다양한 데이터셋에서 mAP와 훈련 속도 측면에서 DCL 방법은 회귀 기반 및 SCL 기반 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 DCL 프레임워크는 다양한 감지기 백본과 데이터셋 간에 얼마나 일반화 가능한가?

주요 결과

• DCL 기반 방법은 SCL 기반 모델 대비 훈련 속도가 3배 빨라졌으며, 벤치마크 전반에서 경험적으로 관찰되었다.
• DOTA 검증 세트에서 DCL 기반 RetinaNet은 36.71% mAP50:95를 기록하여 SCL 기반 CSL 모델(35.04%)과 회귀 기반 기준 모델를 모두 초월했다.
• ADARSW를 적용한 BCL 기반 모델은 ICDAR2015에서 10개 카테고리 mAP를 2.3% 향상시켰고, GCL 기반 모델은 2.13% 향상시켰다.
• HRSC2016에서 R3Det-DCL 모델은 mAP(07) 89.46%와 mAP(12) 96.41%를 기록하여 새로운 최고 기록을 수립했다.
• 이 방법은 매우 일반화 가능하며, 대규모 백본과 데이터 증강 설정에서 R3Det의 성능을 1.8% 향상시켰다.
• PCA를 통한 시각화 결과 DCL가 최소한의 손실 함수 조건에서도 의미 있는 각도 특징 학습을 가능하게 함을 확인했다.