[논문 리뷰] MRDet: A Multi-Head Network for Accurate Oriented Object Detection in Aerial Images

Qin Ran, Qingjie Liu외 3명|arXiv (Cornell University)|2020. 12. 24.

Advanced Neural Network Applications참고 문헌 51인용 수 7

한 줄 요약

MRDet는 항공 이미지에서 정밀한 기울기 방향 박스를 생성하기 위해 임의의 방향 영역 제안 네트워크(AO-RPN)를 사용하는 경량 다중 헤드 기울기 객체 검출기이다. AO-RPN은 표준 RPN과 동일한 수의 앵커를 유지하면서도 약간의 파라미터 증가로 정확한 기울기 방향 제안을 생성한다. 또한 분류, 위치 추정, 척도 추정, 기울기 예측을 분리하여 개선된 정확도를 달성하기 위해 다중 헤드 네트워크를 도입한다. 이는 DOTA에서 76.24%의 SOTA mAP, HRSC2016에서 89.94%의 SOTA mAP 성능을 기록한다.

ABSTRACT

Objects in aerial images usually have arbitrary orientations and are densely located over the ground, making them extremely challenge to be detected. Many recently developed methods attempt to solve these issues by estimating an extra orientation parameter and placing dense anchors, which will result in high model complexity and computational costs. In this paper, we propose an arbitrary-oriented region proposal network (AO-RPN) to generate oriented proposals transformed from horizontal anchors. The AO-RPN is very efficient with only a few amounts of parameters increase than the original RPN. Furthermore, to obtain accurate bounding boxes, we decouple the detection task into multiple subtasks and propose a multi-head network to accomplish them. Each head is specially designed to learn the features optimal for the corresponding task, which allows our network to detect objects accurately. We name it MRDet short for Multi-head Rotated object Detector for convenience. We test the proposed MRDet on two challenging benchmarks, i.e., DOTA and HRSC2016, and compare it with several state-of-the-art methods. Our method achieves very promising results which clearly demonstrate its effectiveness.

연구 동기 및 목표

• 딥 러닝을 활용하여 항공 이미지에서 조밀하게 밀집된 임의의 방향 객체를 검출하는 과제를 해결한다.
• 밀집된 앵커 배치를 피하여 기울기 방향 객체 검출의 계산 비용과 모델 복잡도를 감소시킨다.
• 특화된 네트워크 헤드를 통해 검출 하위 작업을 분리함으로써 정확도를 향상시킨다.
• 임의의 방향 객체가 많은 고밀도 환경에서 효율성과 성능을 균형 있게 확보한다.
• 기울기 방향 객체 검출에서 벤치마크 데이터셋인 DOTA와 HRSC2016에서 최신 기술 수준(SOTA)의 성능을 달성한다.

제안 방법

• 표준 RPN과 동일한 앵커 수를 유지하면서 수평 제안을 기울기 제안으로 변환하는 애핀 변환을 학습하는 임의의 방향 영역 제안 네트워크(AO-RPN)를 제안한다.
• 분류, 바운딩 박스 위치 추정, 척도 추정, 기울기 예측을 위한 네 개의 형제 헤드를 가진 다중 헤드 네트워크(MH-Net)를 도입하며, 각 헤드는 전용 작업에 최적화되어 있다.
• 정밀한 바운딩 박스 회귀를 향상시키기 위해 위치 추정 헤드에 중심 풀링 모듈을 통합한다.
• 기울기 예측에 완전 연결층을 사용하며, 정확도에서 컨볼루션 브랜치보다 뛰어나다는 것이 검증되었다.
• 작은 크기와 다중 척도 객체의 검출을 향상시키기 위해 특징 피라미드 네트워크(FPN)를 활용한다.
• 분류, 위치 추정, 척도 추정, 기울기 예측 손실을 통합한 다중 작업 손실을 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 앵커 밀도나 계산 비용을 증가시키지 않으면서도 경량 영역 제안 네트워크가 정확한 기울기 방향 제안을 생성할 수 있는가?
• RQ2 분류, 위치 추정, 척도, 기울기 예측 등의 검출 하위 작업을 별도의 네트워크 헤드로 분리함으로써 항공 이미지에서의 검출 정확도가 향상되는가?
• RQ3 위치 추정 헤드에 통합된 중심 풀링이 기울기 방향 객체 검출에서 바운딩 박스 회귀 성능에 어떤 영향을 미치는가?
• RQ4 제안된 다중 헤드 설계가 작은 크기, 밀집된, 임의의 방향 객체를 검출하는 데서 공유 헤드 아키텍처보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 이 방법은 다양한 항공 데이터셋에서 다양한 객체 척도, 종횡비, 기울기 방향을 가진 환경에서도 일반화 가능한가?

주요 결과

• FPN를 사용한 DOTA 데이터셋에서 MRDet는 mAP 76.24%를 기록하며 이전 최고 성능(75.74%)을 0.5% 향상시켰다.
• FPN 없이 DOTA에서 MRDet는 mAP 73.62%를 기록하며 이전 최고 성능 방법(61.01%)보다 12.55점 향상되었다.
• 높은 밀도와 유사한 기울기로 인해 도전적인 대형 차량과 선박에 대해 각각 mAP가 2.23%, 1.04% 향상되었다.
• HRSC2016에서 MRDet는 mAP 89.94%를 기록하며 두 번째로 좋은 방법(88.20%)보다 1.74점 높고, RoI Transformer보다 3.74점 높았다.
• 시각적 비교 결과, MRDet는 RoI Transformer, Gliding Vertex, SCRDet와 비교해 더 조밀하고 정확한 바운딩 박스를 검출하는 것으로 나타났다. 특히 작은 크기나 저해상도 객체에서 뚜렷한 성능 향상을 보였다.
• 다른 한편으로 다리와 같이 매우 큰 크기나 높은 종횡비를 가진 객체에서는 mAP 55.40%로 성능이 저하되어, 클래스 불균형과 척도 변동성이 여전히 도전 과제로 남아 있음을 시사한다.