[논문 리뷰] FCOSR: A Simple Anchor-free Rotated Detector for Aerial Object Detection

Zhonghua Li, Biao Hou외 4명|arXiv (Cornell University)|2021. 11. 21.

Advanced Neural Network Applications참고 문헌 42인용 수 15

한 줄 요약

FCOSR는 FCOS 기반으로 간단하고 앵커 기반 아님(one-stage, anchor-free)의 회전 물체 검출기로, 타원형 중심 샘플링 전략과 흐린 레이블 할당을 사용하여 훈련 레이블 품질을 향상시킨다. DOTA1.0에서 79.25 mAP를 기록하고, 경량 TensorRT 최적화 모델을 사용해 Jetson Xavier NX에서 10.68 FPS로 실시간으로 작동하며 73.93 mAP를 달성하여 높은 정확도와 빠른 구현 능력을 입증한다.

ABSTRACT

Existing anchor-base oriented object detection methods have achieved amazing results, but these methods require some manual preset boxes, which introduces additional hyperparameters and calculations. The existing anchor-free methods usually have complex architectures and are not easy to deploy. Our goal is to propose an algorithm which is simple and easy-to-deploy for aerial image detection. In this paper, we present a one-stage anchor-free rotated object detector (FCOSR) based on FCOS, which can be deployed on most platforms. The FCOSR has a simple architecture consisting of only convolution layers. Our work focuses on the label assignment strategy for the training phase. We use ellipse center sampling method to define a suitable sampling region for oriented bounding box (OBB). The fuzzy sample assignment strategy provides reasonable labels for overlapping objects. To solve the insufficient sampling problem, a multi-level sampling module is designed. These strategies allocate more appropriate labels to training samples. Our algorithm achieves 79.25, 75.41, and 90.15 mAP on DOTA1.0, DOTA1.5, and HRSC2016 datasets, respectively. FCOSR demonstrates superior performance to other methods in single-scale evaluation. We convert a lightweight FCOSR model to TensorRT format, which achieves 73.93 mAP on DOTA1.0 at a speed of 10.68 FPS on Jetson Xavier NX with single scale. The code is available at: https://github.com/lzh420202/FCOSR

연구 동기 및 목표

• 수동으로 설계된 앵커 박스에 의존하지 않고, 경량이며 구현 가능한 항공 이미지용 물체 검출 방법을 개발하기 위해.
• 기존의 앵커 기반 아님 방법들이 종종 복잡한 아키텍처를 가지며, 회전 물체 검출에서 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 회전 물체 검출에서 방향성 바운딩 박스(OBB)의 레이블 할당을 향상시키기 위해 새로운 샘플링 전략을 도입하기 위해.
• 다중 수준 샘플링 모듈을 통해 특징 학습을 향상시키고 샘플링 부족 문제를 줄이기 위해.
• 에지 플랫폼에서 실시간 배포를 위해 최소한의 계산 비용으로 높은 정확도를 달성하기 위해.

제안 방법

• 단일 단계, 앵커 기반 아님의 검출기 아키텍처를 채택하여 FCOS 기반으로 구현하며, 단순성과 구현 가능성 향상을 위해 오직 합성곱층만을 사용한다.
• 방향성 바운딩 박스에 대해 공간적으로 적응 가능한 샘플링 영역을 정의하기 위해 타원형 중심 샘플링 방법을 도입하여 정위치 정확도를 향상시킨다.
• 중첩된 물체에 대해 합리적인 레이블을 할당하기 위해 흐린 샘플 할당 전략을 사용하여 훈련 중 혼란을 줄인다.
• 특히 작은 물체나 조밀하게 배치된 물체에 대해 샘플링 부족 문제를 완화하기 위해 다중 수준 샘플링 모듈을 설계한다.
• TensorRT를 사용해 경량 FCOSR 모델을 추론 최적화하여, Jetson Xavier NX와 같은 에지 기기에서 실시간 성능을 달성한다.
• 성능 검증을 위해 DOTA1.0, DOTA1.5, HRSC2016 벤치마크에서 표준 mAP 지표를 사용한다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 앵커 박스에 의존하지 않고도 단순한 앵커 기반 아님 검출기가 항공 이미지 물체 검출에서 높은 성능을 달성할 수 있는가?
• RQ2 중첩된 물체가 존재할 경우, 방향성 바운딩 박스(OBB)의 레이블 할당은 어떻게 향상시킬 수 있는가?
• RQ3 다중 수준 샘플링 전략은 회전 물체 검출에서 샘플링 부족 문제를 효과적으로 해결할 수 있는가?
• RQ4 에지 기기에서 경량 FCOSR 모델을 배포할 경우 정확도와 추론 속도 사이의 상호 보완 관계는 어떻게 되는가?
• RQ5 제안된 방법은 다양한 플랫폼에서 쉽게 구현 가능하면서도 높은 mAP 성능을 유지할 수 있는가?

주요 결과

• FCOSR는 DOTA1.0 데이터셋에서 단일 스케일 평가에서 79.25 mAP를 기록하여 다른 방법들을 능가한다.
• 모델은 DOTA1.5에서 75.41 mAP, HRSC2016에서 90.15 mAP를 기록하여 다양한 항공 데이터셋에 대해 강력한 일반화 성능을 보였다.
• 경량 FCOSR 모델은 TensorRT를 사용해 Jetson Xavier NX에 배포했을 때 DOTA1.0에서 73.93 mAP를 달성하고, 10.68 FPS로 실시간 성능을 확보했다.
• 타원형 중심 샘플링 및 흐린 레이블 할당 전략은 훈련 레이블 품질 향상과 모델의 강건성 향상에 크게 기여했다.
• 다중 수준 샘플링 모듈은 특히 작은 물체나 중첩된 물체에 대해 샘플링 부족 문제를 효과적으로 완화했다.
• 모델의 단순성과 효율적인 배포 능력 덕분에 실시간 응용에 적합한 에지 기기에서의 활용이 가능하다.