[논문 리뷰] Oriented RepPoints for Aerial Object Detection

Wentong Li, Yijie Chen외 2명|arXiv (Cornell University)|2021. 05. 24.

Robotics and Sensor-Based Localization참고 문헌 48인용 수 10

한 줄 요약

이 논문은 기존의 방향 회귀 방식보다 더 정확하게 임의의 방향을 가진 물체를 모델링할 수 있도록 적응형 점을 사용하는 앵커리스 항공 객체 검출 프레임워크인 Oriented RepPoints를 제안한다. 방향 변환 함수, 품질 인식 샘플 할당 방식, 공간 제약 조건을 도입함으로써 DOTA에서 SOTA mAP 77.63%를 달성하고, 검출 및 방향 추정 모두에서 회귀 기반 방법을 능가하는 우수한 방향 정확도를 확보한다.

ABSTRACT

In contrast to the generic object, aerial targets are often non-axis aligned with arbitrary orientations having the cluttered surroundings. Unlike the mainstreamed approaches regressing the bounding box orientations, this paper proposes an effective adaptive points learning approach to aerial object detection by taking advantage of the adaptive points representation, which is able to capture the geometric information of the arbitrary-oriented instances. To this end, three oriented conversion functions are presented to facilitate the classification and localization with accurate orientation. Moreover, we propose an effective quality assessment and sample assignment scheme for adaptive points learning toward choosing the representative oriented reppoints samples during training, which is able to capture the non-axis aligned features from adjacent objects or background noises. A spatial constraint is introduced to penalize the outlier points for roust adaptive learning. Experimental results on four challenging aerial datasets including DOTA, HRSC2016, UCAS-AOD and DIOR-R, demonstrate the efficacy of our proposed approach. The source code is availabel at: https://github.com/LiWentomng/OrientedRepPoints.

연구 동기 및 목표

• 주기적인 각도 손실로 인한 불연속성과 일관성 없는 문제로 인해 기존의 방향 회귀 기법의 한계를 해결한다.
• 복잡한 배경을 가진 축에 수직이 아닌, 고밀도로 포장된 항공 객체의 검출 정확도를 향상시킨다.
• 직접적인 각도 회귀에 의존하지 않고 기하학적 구조와 방향을 잘 포착할 수 있는 견고한 점 기반 표현 방식을 개발한다.
• 학습 중에 고품질의 적응형 점을 선택하기 위해 품질 평가 및 샘플 할당 방식을 도입한다.
• 공간 제약 메커니즘을 통해 이상치 점에 대한 페널티를 적용함으로써 혼잡한 환경에서의 특징 학습을 향상시킨다.

제안 방법

• 객체 중심에서 초기화된 적응형 점을 사용하고, FPN과 공유 헤드를 통해 다중 해상도 특징 학습을 수행한다.
• 학습된 점 집합에서 회전된 바운딩 박스를 생성하기 위해 세 가지 방향 변환 함수를 제안한다. 이는 정밀한 방향 추정을 가능하게 한다.
• 분류, 정위치, 방향, 점별 특징 상관관계 기반의 점 품질 평가를 수행하는 적응형 점 평가 및 할당(APAA) 방식을 설계한다.
• 학습 중에 실제 방향 바운딩 박스 외부에 위치한 점에 대해 페널티를 적용함으로써 배경 노이즈와 인접 객체에 대한 강인성을 향상시킨다.
• ResNet-FPN와 Focal Loss를 사용한 일단계, 앵커리스 검출기 아키텍처를 통해 엔드 투 엔드로 모델을 훈련시킨다.
• RepPoints 스타일 헤드 구조를 활용하지만, 방향 인식 구성 요소와 품질 인식 샘플링을 추가하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 적응형 점 표현 방식이 임의의 방향을 가진 항공 객체 검출에서 직접적인 방향 회귀 방식을 능가할 수 있는가?
• RQ2 어떻게 하면 방향 객체 검출을 위한 가장 대표적인 점들을 선택할 수 있는 품질 평가 및 샘플 할당 방식을 설계할 수 있는가?
• RQ3 공간 제약 조건이 혼잡한 항공 환경에서 적응형 점 학습의 강인성을 어느 정도 향상시킬 수 있는가?
• RQ4 점 기반 접근 방식이 각도 기반 회귀 방식에 비해 항공 검출에서 방향 추정 오차를 줄일 수 있는가?
• RQ5 제안된 방법이 다양한 항공 데이터셋(다양한 객체 크기, 방향, 환경 복잡도)에 대해 일반화 가능한가?

주요 결과

• Swin-T-FPN를 사용한 DOTA 데이터셋에서 Oriented RepPoints는 77.63% mAP를 달성하여 동일한 백본을 사용한 모든 이전 방법보다 뛰어난 성능을 보였다.
• HRSC2016에서 VOC2012 지표 기준으로 97.26% mAP를 기록하여 1위를 차지했으며, RetinaNet-O(95.21%)와 R3Det(96.01%)를 크게 앞서갔다.
• UCAS-AOD에서 90.11% mAP를 기록하여 비교된 모든 방법 중 최고 성능을 보였으며, 소형 및 복잡하게 둘러싸인 객체에 대해서도 뛰어난 성능을 입증했다.
• DIOR-R에서 66.71% mAP를 기록하여 모든 방법 중 최고 수준이었으며, 20개의 다양한 항공 객체 카테고리에 걸쳐 강력한 일반화 능력을 보였다.
• DOTA에서 평균 평균 방향 오차(mAOE)가 5.93°로 가장 낮아, 회귀 기반 기준선 대비 뛰어난 방향 정확도를 확인했다.
• 제거 실험 결과 APAA 방식과 공간 제약 조건이 특히 고밀도 및 혼잡한 환경에서 검출 및 방향 정확도를 크게 향상시킨다는 것이 입증되었다.