[논문 리뷰] Progressive Domain Adaptation with Contrastive Learning for Object Detection in the Satellite Imagery

Debojyoti Biswas, Jelena Tešić|arXiv (Cornell University)|2022. 09. 06.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 위성 영상에서 소형 객체 검출을 위한 대비 학습을 통한 점진적 도메인 적응 프레임워크인 LGDA를 제안한다. 공간 피ラ미드 풀링, 히트맵 기반 영역 제안, 그리고 새로운 곤란도 인식 포화 손실를 통합함으로써, 국소적 및 전반적 대비 학습을 통해 특징 학습과 도메인 정렬을 향상시켜 DOTA 및 NWPU VHR-10 벤치마크에서 최신 기술 대비 최대 7.4% 높은 mAP를 달성한다.

ABSTRACT

State-of-the-art object detection methods applied to satellite and drone imagery largely fail to identify small and dense objects. One reason is the high variability of content in the overhead imagery due to the terrestrial region captured and the high variability of acquisition conditions. Another reason is that the number and size of objects in aerial imagery are very different than in the consumer data. In this work, we propose a small object detection pipeline that improves the feature extraction process by spatial pyramid pooling, cross-stage partial networks, heatmap-based region proposal network, and object localization and identification through a novel image difficulty score that adapts the overall focal loss measure based on the image difficulty. Next, we propose novel contrastive learning with progressive domain adaptation to produce domain-invariant features across aerial datasets using local and global components. We show we can alleviate the degradation of object identification in previously unseen datasets. We create a first-ever domain adaptation benchmark using contrastive learning for the object detection task in highly imbalanced satellite datasets with significant domain gaps and dominant small objects. The proposed method results in a 7.4% increase in mAP performance measure over the best state-of-art.

연구 동기 및 목표

• 지리적, 조명 조건 및 촬영 조건의 변화로 인해 매우 다양성이 큰 위성 및 드론 영상에서 소형이고 고밀도로 포장된 객체를 탐지하는 데 도전하는 것.
• 지역적, 조명적, 촬영 조건의 변화로 인해 원천 및 대상 위성 데이터셋 간의 도메인 이동을 극복하는 것.
• 대비 학습을 통해 자원이 제한되고 불균형한 항공 영상 데이터셋에서 특징 표현과 모델 일반화를 향상시키는 것.
• 다양한 중간 도메인을 통해 특징을 점진적으로 정렬하여 도메인 간 격차를 줄이는 도메인 적응 파이프라인을 개발하는 것.
• 중대한 도메인 격차와 클래스 불균형이 존재하는 벤치마크 위성 데이터셋에서 최신 기술 성능을 달성하는 것.

제안 방법

• 항공 영상에서 소형 및 고밀도 객체를 더 잘 국소화하기 위해 히트맵 기반 영역 제안 네트워크(RPN)를 도입한다.
• 이미지 수준의 곤란도에 따라 손실 가중치를 동적으로 조정하는 곤란도 인식 포화 손실를 설계한다.
• 원천 및 대상 도메인 간에 세밀하고 공간적으로 국소화된 특징을 정렬하기 위해 대비 학습을 통한 국소 특징 정렬(LDA)을 구현한다.
• 고수신 영역 특징을 사용한 대비 학습을 통해 의미 수준의 도메인 불변성을 캡처하는 전반적 도메인 정렬(GDA)을 제안한다.
• LDA 및 GDA 모듈을 다중 척도 특징 융합과 함께 통합한 유일한 점진적 도메인 적응 프레임워크(LGDA)에 통합한다.
• 강건한 대비 학습을 위해 부정 샘플 수(7), 온도 값(12% 페널티), 학습 스케줄(60 에포크) 등의 하이퍼파rameter를 최적화한다.

실험 결과

연구 질문

• RQ1 지리적 및 환경적 변동성이 높은 위성 영상에서 대비 학습이 도메인 이동을 효과적으로 줄일 수 있는가?
• RQ2 중간 도메인을 활용한 점진적 도메인 적응이 다양한 항공 데이터셋에서 소형 객체 검출의 일반화를 어떻게 향상시키는가?
• RQ3 곤란도 인식 손실 재가중이 불균형하고 변동성이 큰 위성 데이터셋에서 검출 성능을 얼마나 향상시키는가?
• RQ4 최적의 대비 학습 성능를 얻기 위한 하이퍼파rameter 설정(예: 부정 샘플 수, 온도)은 무엇인가?
• RQ5 국소 및 전반적 대비 정렬을 결합하면 단일 수준의 정렬보다 더 높은 mAP를 달성하는가?

주요 결과

• 제안된 LGDA 방법은 DOTA 대상 데이터셋에서 46.7% mAP를 달성하여 기존 최고 성능 방법(MGADA)보다 +7.3% mAP 향상.
• NWPU VHR-10 데이터셋에서 LGDA는 71.4% mAP를 기록하여 MGADA 대비 +4.6% 향상.
• 손실 함수에 0.1의 가중치를 적용한 국소 대비 학습(LDA)은 DOTA와 NWPU에서 각각 8% 이상, 12% 이상의 mAP 향상을 기록.
• 더 낮은 가중치(0.01)를 사용한 전반적 도메인 정렬(GDA)가 LDA를 초월하여 성능을 높여, 고수준 의미 정렬의 중요성을 입증.
• 대비 손실당 7개의 부정 샘플을 사용할 경우 최적의 균형을 이룹니다. 이 수치를 초과하면 불균형 데이터에서 잠재적인 잘못된 부정 샘플로 인해 성능 저하.
• 대비 손실에 12% 페널티를 적용하고 60 에포크 동안 학습할 경우 최고의 성능을 달성하며, 이 이상의 학습 또는 더 높은 페널티는 결과를 악화시킴.