[논문 리뷰] Oriented Feature Alignment for Fine-grained Object Recognition in High-Resolution Satellite Imagery

Qi Ming, Junjie Song외 1명|arXiv (Cornell University)|2021. 10. 13.

Advanced Neural Network Applications참고 문헌 12인용 수 8

한 줄 요약

이 논문은 고해상도 위성 영상에서 미세한 경계가 있는 방향성 물체 인식을 위한 앵커리스 방법인 OFA-Net을 제안한다. 다단계 회전 경계 상자 보정과 방향성 특징 정렬을 통해 국소화 정확도와 질감 특징 추출을 향상시킨다. GaoFen 경연 대회에서 46.51% mAP, ISPRS 벤치마크에서 43.73% mAP를 기록하여 원격 감지 분야에서의 미세한 분류 작업에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Oriented object detection in remote sensing images has made great progress in recent years. However, most of the current methods only focus on detecting targets, and cannot distinguish fine-grained objects well in complex scenes. In this technical report, we analyzed the key issues of fine-grained object recognition, and use an oriented feature alignment network (OFA-Net) to achieve high-performance fine-grained oriented object recognition in optical remote sensing images. OFA-Net achieves accurate object localization through a rotated bounding boxes refinement module. On this basis, the boundary-constrained rotation feature alignment module is applied to achieve local feature extraction, which is beneficial to fine-grained object classification. The single model of our method achieved mAP of 46.51\% in the GaoFen competition and won 3rd place in the ISPRS benchmark with the mAP of 43.73\%.

연구 동기 및 목표

• 고도가 높아질수록 시각적으로 유사하고 질감이 없는 물체를 구분하는 과제를 해결한다.
• 일반 물체 검출에 초점을 맞추지만, 유사한 외관과 긴 꼬리 분포로 인해 미세한 분류에서 실패하는 기존 검출기의 한계를 극복한다.
• 미세한 분류를 국소화 및 분류 하위 과제로 분리하여 전용 모듈을 통해 정확도를 향상시킨다.
• 재표본 추출과 데이터 증강을 통해 클래스 불균형을 완화하여 희귀 카테고리에 대한 모델 일반화 능력을 향상시킨다.

제안 방법

• 다단계 회귀를 통해 국소화 정확도를 향상시키기 위해, 회전 경계 상자 보정 모듈(RARM)과 정확한 검출 모듈(ADM)의 계층적 조합을 사용한다.
• AlignConv를 사용한 방향성 특징 정렬 브랜치를 적용하여, 회전된 제안 영역 내에서 질감 특징을 추출함으로써, 객체 관련 영역에 집중함으로써 미세한 분류 성능을 향상시킨다.
• 긴 꼬리 분포를 해결하고 강건성을 향상시키기 위해 클래스 균형 잡힌 샘플링과 데이터 증강(예: 무작위 자르기, 뒤집기, 광학 왜곡)을 구현한다.
• 첫 번째 단계에서는 정확도 향상을 위해 고 IoU 임계치(0.4)를 사용해 재현율을 극대화하고, 두 번째 단계에서는 국소화 정확도 향상을 위해 고 IoU 임계치를 사용한다.
• DOTA 및 미세한 항공기 데이터에서 사전 학습된 모델을 활용하여 사전 지식을 제공하고 수렴 속도를 가속화한다.
• 증강을 통해 데이터셋 크기를 두 배로 늘리고, 다중 해상도 학습 및 테스트를 통해 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 회전 경계 상자 보정은 미세한 원격 감지 물체 검출에서 국소화 정확도를 어떻게 향상시키는가?
• RQ2 방향성 특징 정렬은 시각적으로 유사한 물체를 구분하기 위해 질감 특징 추출에 얼마나 기여하는가?
• RQ3 클래스 균형 잡힌 샘플링과 데이터 증강은 긴 꼬리 분포를 가진 원격 감지 데이터셋에서 인식 성능을 크게 향상시킬 수 있는가?
• RQ4 미세한 분류 작업에서 검출 신뢰도 임계치와 mAP 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 관련 데이터셋(DOTA, GaoFen 항공기 데이터 등)에서의 사전 학습은 미세한 카테고리에 대한 일반화 능력을 향상시키는 데 얼마나 효과적인가?

주요 결과

• 단일 모델인 OFA-Net은 GaoFen 미세한 항공기 인식 경연에서 46.51% mAP를 기록하여 총 213개 팀 중 3위를 차지했다.
• ISPRS 벤치마크에서 이 방법은 43.73% mAP를 기록하여 다양한 원격 감지 데이터셋에서 뛰어난 성능을 보였다.
• 첫 번째 단계에서 양성 샘플 선택을 위해 낮은 IoU 임계치(0.4)를 사용함으로써 재현율이 향상되었고, 두 번째 단계에서 고 IoU 임계치를 사용함으로써 국소화 정확도가 향상되어 최적 구성에서 41.36% mAP를 달성했다.
• 낮은 검출 신뢰도 임계치가 mAP를 향상시켰으며, 이는 이 맥락에서 더 높은 재현율이 더 높은 정밀도보다 mAP에 더 유리하다는 것을 시사한다.
• 데이터 증강 및 재표본 추출 전략이 훈련 세트를 두 배로 늘리고, 다중 해상도 학습과 결합하여 mAP를 2.84% 향상시켰다(40.8882%에서 43.7304%로).
• DOTA 및 GaoFen 항공기 데이터에서의 사전 학습은 수렴 속도를 크게 가속화하고 유사 카테고리에서의 성능을 향상시켰으며, 한 에포크의 미세조정이 초기 학습에서 여섯 에포크에 해당하는 성능을 달성했다.