[논문 리뷰] Adaptive Rotated Convolution for Rotated Object Detection

Yifan Pu, Yiru Wang외 7명|arXiv (Cornell University)|2023. 03. 14.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 특징 맵 내 객체 방향에 따라 커널을 적응적으로 회전시킬 수 있도록 해주는 플러그-앤플레이 모듈인 적응형 기울인 컨볼루션(ARC)을 제안한다. 조건부 계산과 방향 인식 커널 회전을 융합함으로써 ARC는 기울인 객체 검출을 위한 특징 추출을 향상시키며, Oriented R-CNN와 함께 DOTA에서 SOTA 성능인 81.77% mAP를 달성하고, 다양한 검출기에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Rotated object detection aims to identify and locate objects in images with arbitrary orientation. In this scenario, the oriented directions of objects vary considerably across different images, while multiple orientations of objects exist within an image. This intrinsic characteristic makes it challenging for standard backbone networks to extract high-quality features of these arbitrarily orientated objects. In this paper, we present Adaptive Rotated Convolution (ARC) module to handle the aforementioned challenges. In our ARC module, the convolution kernels rotate adaptively to extract object features with varying orientations in different images, and an efficient conditional computation mechanism is introduced to accommodate the large orientation variations of objects within an image. The two designs work seamlessly in rotated object detection problem. Moreover, ARC can conveniently serve as a plug-and-play module in various vision backbones to boost their representation ability to detect oriented objects accurately. Experiments on commonly used benchmarks (DOTA and HRSC2016) demonstrate that equipped with our proposed ARC module in the backbone network, the performance of multiple popular oriented object detectors is significantly improved (\eg +3.03\% mAP on Rotated RetinaNet and +4.16\% on CFA). Combined with the highly competitive method Oriented R-CNN, the proposed approach achieves state-of-the-art performance on the DOTA dataset with 81.77\% mAP. Code is available at \url{https://github.com/LeapLabTHU/ARC}.

연구 동기 및 목표

• 자연 및 항공 영상에서 임의로 다양하게 기울어진 객체를 검출하는 데 도전하는 것.
• 고정된 커널 방향으로 인해 기울인 객체 검출에 최적화되어 있지 않은 표준 컨볼루션 백본의 특징 표현을 향상시키는 것.
• 기존 검출 파ip라인의 아키텍처를 대대적으로 수정하지 않고도 원활하게 통합될 수 있는 경량이고 효율적인 모듈을 설계하는 것.
• 백본 네트워크가 입력에 따라 커널 방향을 적응적으로 조정할 수 있도록 하여 다중 방향 객체에 대한 검출 정확도를 향상시키는 것.

제안 방법

• ARC는 입력 특징 맵을 기반으로 최적의 회전 각도를 예측하는 라우팅 함수를 도입하여, 데이터에 따라 커널을 적응적으로 조정할 수 있도록 한다.
• 조건부 계산을 통해 적응적인 가중치 예측 브랜치를 학습하여 다수의 기울인 커널을 조합함으로써 계산 비용을 줄이고 표현 능력을 높인다.
• 라우팅 함수의 공간 방향 인식 능력을 향상시키기 위해 전역 평균 풀링 이전에 공간 인코딩 모듈(디프스와이즈 컨볼루션 + 정규화 + ReLU)을 추가한다.
• 여러 개의 기울인 커널을 독립적으로 계산한 후 학습된 가중치를 통해 융합함으로써 계산 비용을 줄인 채 별도의 컨볼루션을 모방한다.
• ARC 모듈은 ResNet과 같은 어떤 백본 네트워크의 표준 3×3 컨볼루션에도 플러그인 방식으로 대체 가능하도록 설계되어 ARC-ResNet을 형성한다.
• 라우팅 함수는 국소적 특징 패턴에 기반해 동적으로 기울인 커널을 선택하고 융합하여, 한 장의 이미지 내에서 다양한 객체 방향에 대해 네트워크가 민첩하게 반응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 데이터에 의존하는 커널 회전 메커니즘이 자연 및 항공 영상에서 기울인 객체 검출을 위한 특징 추출을 향상시킬 수 있는가?
• RQ2 계산 비용을 증가시키지 않고도 한 장의 이미지 내에서 다수의 객체 방향을 처리할 수 있도록 백본 모듈을 어떻게 설계할 수 있는가?
• RQ3 공간 인코딩과 적응적인 커널 조합이 기울인 객체 검출기 성능에 미치는 영향는 어떠한가?
• RQ4 플러그-앤플레이 모듈인 ARC가 표준 벤치마크에서 기존의 기울인 객체 검출기의 정확도를 어느 정도 향상시킬 수 있는가?

주요 결과

• 제안된 ARC 모듈은 DOTA 벤치마크에서 Rotated RetinaNet의 mAP를 +3.03% 향상시켰다.
• CFA에 적용했을 때는 +4.16% mAP 향상을 기록하여 다양한 검출기 아키텍처 간에 뛰어난 일반화 성능을 입증했다.
• Oriented R-CNN와 ARC-ResNet-50를 사용했을 때 DOTA-v1.0 데이터셋에서 SOTA 성능인 81.77% mAP를 달성했다.
• 제거 실험 결과, 라우팅 함수 내 공간 인코딩과 적응적 커널 조합 모두 성능 향상에 기여하며, 전체 설계가 가장 우수한 성능을 낸다.
• 백본의 마지막 세 단계의 컨볼루션 레이어를 교체했을 때 성능 향상이 가장 크게 나타나, 깊이 있는 특징이 방향 적응에 가장 크게 기여함을 시사한다.
• 시각화 결과, ARC는 다양한 상황에서 소형, 중형, 대형 기울인 객체에 대해 국소화 및 검출 정확도를 크게 향상시켰다.