[논문 리뷰] Dynamic Anchor Learning for Arbitrary-Oriented Object Detection

Qi Ming, Zhiqiang Zhou외 3명|arXiv (Cornell University)|2020. 12. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 47인용 수 24

한 줄 요약

이 논문은 임의의 방향 객체 검출을 위한 새로운 레이블 할당 방법인 동적 앵커 학습(DAL)을 제안한다. IoU 기반 앵커 매칭을 학습된 매칭 정도 메트릭으로 대체함으로써, 공간 정렬, 특징 정렬, 회귀 불확실성 등을 종합적으로 평가하여 고품질의 앵커를 동적으로 선택할 수 있도록 한다. 이로 인해 수평 앵커 수를 최소화하면서도 검출 정확도를 크게 향상시켰으며, DOTA(76.95%)와 HRSC2016(89.77%)에서 최신 기준 mAP를 달성하였다. 일반적인 수평 객체 검출에도 효과적이며, 성능이 뛰어나다.

ABSTRACT

Arbitrary-oriented objects widely appear in natural scenes, aerial photographs, remote sensing images, etc., thus arbitrary-oriented object detection has received considerable attention. Many current rotation detectors use plenty of anchors with different orientations to achieve spatial alignment with ground truth boxes, then Intersection-over-Union (IoU) is applied to sample the positive and negative candidates for training. However, we observe that the selected positive anchors cannot always ensure accurate detections after regression, while some negative samples can achieve accurate localization. It indicates that the quality assessment of anchors through IoU is not appropriate, and this further lead to inconsistency between classification confidence and localization accuracy. In this paper, we propose a dynamic anchor learning (DAL) method, which utilizes the newly defined matching degree to comprehensively evaluate the localization potential of the anchors and carry out a more efficient label assignment process. In this way, the detector can dynamically select high-quality anchors to achieve accurate object detection, and the divergence between classification and regression will be alleviated. With the newly introduced DAL, we achieve superior detection performance for arbitrary-oriented objects with only a few horizontal preset anchors. Experimental results on three remote sensing datasets HRSC2016, DOTA, UCAS-AOD as well as a scene text dataset ICDAR 2015 show that our method achieves substantial improvement compared with the baseline model. Besides, our approach is also universal for object detection using horizontal bound box. The code and models are available at https://github.com/ming71/DAL.

연구 동기 및 목표

• 기울어진 객체 검출에서 분류 신뢰도와 정위치 정확도 사이의 일관성 없는 문제를 해결하기 위해.
• IoU 기반 레이블 할당의 한계를 극복하여, 강한 정위치 잠재력을 지닌 고품질의 음성 앵커를 식별하지 못하는 문제를 해결하기 위해.
• 공간 정렬, 특징 정렬, 불확실성 기반의 종합적인 매칭 기준에 기반해 고품질 앵커를 동적으로 선택하는 적응형 레이블 할당 메커니즘을 개발하기 위해.
• 많은 수의 기울어진 앵커에 의존하는 것을 줄이고, 최소한의 수평 앵커로도 선택 품질을 향상시켜 앵커 복잡도를 감소시키기 위해.
• 표준 수평 경계 상자 검출에도 적용 가능함을 입증하여 일반성을 입증하기 위해.

제안 방법

• 공간 정렬, 특징 정렬 능력, 회귀 불확실성 기반으로 앵커를 평가하는 새로운 매칭 정도 메트릭을 제안한다.
• 매칭 정도를 이용한 동적 앵커 선택 기법을 도입하여, 고정된 IoU 임계값 기반의 양/음성 샘플 할당 방식을 대체한다.
• 분류 신뢰도를 실제 정위치 성능과 일치시키기 위해 매칭 민감도 손실 함수를 설계한다.
• 구조적 개편 없이도 매칭 정도를 학습 파이프라인에 경량이고 미분 가능한 방식으로 통합하기 위해 설계한다.
• 특징 위치당 수평 앵커를 단 3개만 사용하여 앵커 복잡도를 크게 줄였지만도 높은 성능을 유지한다.
• 다양한 데이터셋과 검출 프레임워크에 적용하여, 기울어진 검출과 수평 검출 모두에 일반화 가능함을 입증한다.

실험 결과

연구 질문

• RQ1 기울어진 객체 검출에서 IoU 기반 레이블 할당이 높은 정위치 잠재력을 지닌 앵커를 신뢰성 있게 식별할 수 있는가?
• RQ2 분류 신뢰도와 정위치 정확도의 불일치가 잘못된 앵커 품질 평가에서 기인하는가?
• RQ3 공간, 특징, 회귀 불확실성을 통합한 통합 메트릭이 임의의 방향 검출에서 레이블 할당을 향상시킬 수 있는가?
• RQ4 많은 수의 기울어진 앵커 대신, 최소한의 수평 앵커를 동적 선택 기반으로 사용해도 고품질의 검출이 가능할 수 있는가?
• RQ5 제안된 방법이 기울어진 검출과 표준 수평 객체 검출 모두에 일반적으로 적용 가능한가?

주요 결과

• DOTA에서 S2A-Net와 통합했을 때 mAP가 76.95%를 기록하여 이전 최고 성능보다 2.83% 향상되었다.
• HRSC2016에서 ResNet-101을 사용할 경우 89.77%의 mAP를 달성했으며, ResNet-50를 사용할 경우 88.6%를 기록했고, 416×416 입력에서 다수의 기울어진 앵커를 사용하는 모델를 초월했다.
• DOTA에서 기준 모델 대비 mAP가 3% 향상되었고, UCAS-AOD에서는 2.3% 향상되었으며, HRSC2016에서는 AP75에서 2.5% 향상되었다.
• ICDAR 2015에서는 F-메이저가 77.5%에서 81.5%로 향상되었고(다중 해상도 테스트 시 82.4%), 도메인 특화된 시나리오 텍스트 검출에 강력한 일반화 능력을 보였다.
• 416×416 입력에서 RTX 2080 Ti에서 34 FPS의 추론 속도를 기록하여, 높은 정확도를 유지하면서도 효율적이었다.
• 표준 수평 객체 검출에도 일반화되었으며, ICDAR 2013, NWPU VHR-10, VOC2007에서 일관된 성능 향상을 보였다.