[논문 리뷰] Oriented R-CNN for Object Detection

Xingxing Xie, Gong Cheng외 3명|arXiv (Cornell University)|2021. 08. 12.

Advanced Neural Network Applications참고 문헌 43인용 수 4

한 줄 요약

이 논문은 경량화된 방향성 영역 제안 네트워크(방향성 RPN)를 사용하여 최소한의 계산 비용으로 고품질의 방향성 제안을 생성하는 이중단계 객체 검출 프레임워크인 Oriented R-CNN을 제안한다. 표준 RPN의 회귀를 여섯 개의 파라미터로 확장한 중점 이격 표현 방식을 도입함으로써, 단일 RTX 2080Ti에서 15.1 FPS의 속도로 DOTA에서 75.87%의 mAP, HRSC2016에서 96.50%의 mAP를 달성하여 정확도-효율성 균형에서 기존의 단일단계 및 이중단계 검출기들을 모두 능가한다.

ABSTRACT

Current state-of-the-art two-stage detectors generate oriented proposals through time-consuming schemes. This diminishes the detectors' speed, thereby becoming the computational bottleneck in advanced oriented object detection systems. This work proposes an effective and simple oriented object detection framework, termed Oriented R-CNN, which is a general two-stage oriented detector with promising accuracy and efficiency. To be specific, in the first stage, we propose an oriented Region Proposal Network (oriented RPN) that directly generates high-quality oriented proposals in a nearly cost-free manner. The second stage is oriented R-CNN head for refining oriented Regions of Interest (oriented RoIs) and recognizing them. Without tricks, oriented R-CNN with ResNet50 achieves state-of-the-art detection accuracy on two commonly-used datasets for oriented object detection including DOTA (75.87% mAP) and HRSC2016 (96.50% mAP), while having a speed of 15.1 FPS with the image size of 1024$ imes$1024 on a single RTX 2080Ti. We hope our work could inspire rethinking the design of oriented detectors and serve as a baseline for oriented object detection. Code is available at https://github.com/jbwang1997/OBBDetection.

연구 동기 및 목표

• 비용이 많이 들는 방향성 제안 생성으로 인해 발생하는 최신 이중단계 방향성 객체 검출기의 계산 병목 현상을 해결하기 위해.
• 임의의 방향성 객체 검출을 위한 단순하고 효율적이며 정확한 이중단계 프레임워크를 설계하기 위해.
• 제안 생성의 파라미터 수와 추론 비용을 줄이면서도 높은 재현율과 정밀도를 유지하기 위해.
• 정확도와 속도의 균형을 잡은 새로운 기준을 설정하기 위해.
• 새로운 표현 방식을 통해 방향성 검출기 설계와 회귀 기법을 재고하게 하기 위해.

제안 방법

• 표준 RPN의 출력 회귀 파라미터를 네 개에서 여섯 개로 늘려 방향성 바운딩 박스를 예측하는 경량 방향성 RPN을 제안한다.
• 중점 이격 표현 방식을 도입하여, 중점 좌표, 너비, 높이, 각도의 여섯 개 파라미터로 방향성 객체를 인코딩함으로써 유한하고 안정적인 회귀를 가능하게 한다.
• 두 번째 단계에서 기울인 RoI 어웨어어닝을 사용하여 방향성 제안 영역에서 특징을 추출하고 분류 및 회귀를 수행한다.
• 완전 컨볼루션 아키텍처를 방향성 RPN에 적용하여 파라미터 수를 최소화하고 과적합 위험을 줄인다.
• 백본 네트워크로 ResNet-50-FPN를 채택하고, 다중 해상도 훈련 및 추론을 통해 성능을 향상시킨다.
• 추론 시 이미지당 상위 1000개의 제안을 선택하여 속도와 정확도의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 비용이 크게 들지 않으면서도 고품질의 방향성 제안을 생성할 수 있는 단순하고 가벼운 방향성 RPN을 설계할 수 있는가?
• RQ2 앵커 기반 또는 트랜스포머 기반 방법과 비교할 때, 중점 이격 표현 방식은 방향성 객체 회귀의 안정성과 효율성을 어떻게 향상시키는가?
• RQ3 이중단계 검출기가 단일단계 검출기 수준의 추론 속도를 유지하면서도 최고의 정확도를 달성할 수 있는가?
• RQ4 방향성 객체 검출에서 제안 품질(예: 상위-N에서의 재현율)이 최종 mAP에 어떤 영향을 미치는가?
• RQ5 기존의 단일단계 및 이중단계 방향성 검출기들과 비교할 때, 제안된 프레임워크는 표준 벤치마크에서 정확도와 속도 측면에서 어떻게 성능을 내는가?

주요 결과

• Oriented R-CNN는 ResNet-50-FPN를 사용하여 DOTA 데이터셋에서 75.87%의 mAP를 달성하여, 더 깊은 백본을 사용한 모든 기존 최고 성능 방법들을 능가한다.
• HRSC2016 데이터셋에서 ResNet-50-FPN를 사용하여 96.50%의 mAP를 달성하여 새로운 최고 성능 기록을 수립한다.
• 다중 해상도 훈련 및 추론을 적용한 결과, 동일한 ResNet-50-FPN 백본을 사용하여 DOTA에서 mAP가 80.87%로 상승한다.
• 1024×1024 입력 해상도에서 단일 RTX 2080Ti에서 15.1 FPS로 실행되어 높은 효율성을 입증한다.
• 방향성 RPN은 2000개의 제안에서 92.80%의 재현율을 확보하고, 제안 수를 1000개로 줄였을 때도 단지 0.6%의 감소만을 보이며 강력한 제안 품질을 입증한다.
• RoI Transformer+의 약 1/3000, 기존 기울인 RPN의 약 1/15의 파라미터를 가지며 모델 복잡도를 크게 감소시킨다.