[논문 리뷰] R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object

Xue Yang, Junchi Yan외 2명|arXiv (Cornell University)|2019. 08. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 71인용 수 160

한 줄 요약

R3Det는 피처 정제 모듈과 근사 SkewIoU 손실을 갖춘 정교한 단일 단계 회전 물체 검출기를 제안하여 항공/문자/원격 sensing 데이터셋에서 정확한 회전 추정과 높은 속도를 달성한다.

ABSTRACT

Rotation detection is a challenging task due to the difficulties of locating the multi-angle objects and separating them effectively from the background. Though considerable progress has been made, for practical settings, there still exist challenges for rotating objects with large aspect ratio, dense distribution and category extremely imbalance. In this paper, we propose an end-to-end refined single-stage rotation detector for fast and accurate object detection by using a progressive regression approach from coarse to fine granularity. Considering the shortcoming of feature misalignment in existing refined single-stage detector, we design a feature refinement module to improve detection performance by getting more accurate features. The key idea of feature refinement module is to re-encode the position information of the current refined bounding box to the corresponding feature points through pixel-wise feature interpolation to realize feature reconstruction and alignment. For more accurate rotation estimation, an approximate SkewIoU loss is proposed to solve the problem that the calculation of SkewIoU is not derivable. Experiments on three popular remote sensing public datasets DOTA, HRSC2016, UCAS-AOD as well as one scene text dataset ICDAR2015 show the effectiveness of our approach. Tensorflow and Pytorch version codes are available at https://github.com/Thinklab-SJTU/R3Det_Tensorflow and https://github.com/SJTU-Thinklab-Det/r3det-on-mmdetection, and R3Det is also integrated in our open source rotation detection benchmark: https://github.com/yangxue0827/RotationDetection.

연구 동기 및 목표

• 큰 종횡비를 가진 물체들에 대한 정확한 회전 탐지를 위한 동기를 제시한다.
• 속도를 유지하면서 정확도를 향상시키는 엔드투엔드 정교한 단일 단계 검출기를 개발한다.
• 정제 과정에서의 특징 미스매치를 해결하기 위한 전용 특징 정제 모듈(FRM)을 도입한다.
• 회전 추정을 개선하기 위한 차별 가능하고 근사적인 SkewIoU 손실을 도입한다.
• 다중 공개 회전 데이터셋에서 대형 멀티스테이지 백본 없이도 최첨단 성능을 입증한다.

제안 방법

• 초기 단계에서 수평 앵커로 시작하고 이후 단계에서 회전 앵커로 정제하는 점진적 거친-정교(regression) 전략을 채택한다.
• 정제된 바운딩 박스 위치를 픽셀단위 보간법으로 특징 점에 다시 인코딩하여 특징 맵을 재구성하고 정렬하는 FRM(Feature Refinement Module)을 도입한다.
• 미분 가능한 리그래서(derivable regressor) 항과 근사 SkewIoU 손실을 결합하는 다중 작업 손실을 사용하여 회전 IoU에 맞춘 그래디언트를 더 잘 정렬한다.
• 정제된 상자에 대해 특징을 효율적으로 재구성하기 위해 바운딩박스 필터링(BF) 및 대형 커널(LK) 특징 정제 단계를 구현한다.
• 속도를 유지하면서 위치추정을 점진적으로 개선하기 위해 다단계 IoU 임계값이 있는 다수의 정제 단계를 적용한다.

실험 결과

연구 질문

• RQ1 단일 단계 검출기를 속도를 희생하지 않고 임의로 회전된 물체에 대해 어떻게 정확하게 만들 수 있는가?
• RQ2 정렬된 특징을 재구성하는 특징 정제 모듈이 회전 물체의 탐지 성능을 개선하는가?
• RQ3 근사적이고 차별 가능한 SkewIoU 손실이 회전 검출에서 표준 손실보다 회전 회귀를 더 잘 제공하는가?
• RQ4 회전 앵커를 사용한 거친-정교 보정의 점진적 방법이 큰 종횡비 물체의 밀집 탐지에 미치는 영향은 무엇인가?
• RQ5 회전 탐지에서 감소되는 수익을 고려할 때 몇 단계의 정제가 회전 탐지에서 이익을 제공하는가?

주요 결과

• 제안된 FRM 기반 특징 재구성은 구성을 다르게 할 때 mAP를 약 0.8–2.8포인트 상승시키는 등 측정 가능한 이득을 제공합니다.
• FRM을 적용한 특징 정제는 DOTA에서 최대 2.79%의 개선까지 확인되는 등 상당한 이득을 제공합니다.
• 다수의 단계로 구성된 점진적 거친-정교 정제가 상당한 이득을 주지만, 세 번 이상 정제해도 엔semble 이득을 초과하는 경우가 항상 있는 것은 아닙니다.
• 근사 SkewIoU 손실 함수, 특히 exp 기반 변형은 학습 안정성과 최종 회전 정확도를 향상시키며 보고된 실험에서 PIoU 기준선을 능가합니다.
• DOTA 데이터셋에서 R3Det 계열은 단일 단계 방법 중 최첨단 성능에 근접하거나 이를 상회하는 결과를 보여주며 다중 스케일 학습/테스트 없이도 강력한 성능을 나타냅니다.
• HRSC2016, UCAS-AOD, ICDAR2015 데이터셋 전반에 걸쳐 R3Det와 FRM은 수평 또는 회전 앵커를 사용하는 기준선 대비 탐지 정확도를 일관되게 향상시킵니다.