[논문 리뷰] Task-wise Sampling Convolutions for Arbitrary-Oriented Object Detection in Aerial Images

Zhanchao Huang, Wei Li외 3명|arXiv (Cornell University)|2022. 09. 06.

Advanced Neural Network Applications참고 문헌 64인용 수 5

한 줄 요약

이 논문은 항공 이미지에서 임의의 방향을 가진 물체 검출을 위한 새로운 방법인 Task-wise Sampling Convolutions (TS-Conv)를 제안한다. 이 방법은 방향 민감 영역에서 작업별로 특징을 적응적으로 샘플링함으로써 국소화 및 분류 작업 간의 일관되지 않은 특징 민감도(Inconsistent Feature Sensitivity, IFS) 문제를 해결한다. TS-Conv는 작업 인식 점수에 기반한 동적 레이블 할당을 사용하여, 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하며, DIOR-R에서 최대 +3.94 mAP50:95 향상과 SSDD+에서 +19.78 향상을 기록한다.

ABSTRACT

Arbitrary-oriented object detection (AOOD) has been widely applied to locate and classify objects with diverse orientations in remote sensing images. However, the inconsistent features for the localization and classification tasks in AOOD models may lead to ambiguity and low-quality object predictions, which constrains the detection performance. In this article, an AOOD method called task-wise sampling convolutions (TS-Conv) is proposed. TS-Conv adaptively samples task-wise features from respective sensitive regions and maps these features together in alignment to guide a dynamic label assignment for better predictions. Specifically, sampling positions of the localization convolution in TS-Conv are supervised by the oriented bounding box (OBB) prediction associated with spatial coordinates, while sampling positions and convolutional kernel of the classification convolution are designed to be adaptively adjusted according to different orientations for improving the orientation robustness of features. Furthermore, a dynamic task-consistent-aware label assignment (DTLA) strategy is developed to select optimal candidate positions and assign labels dynamically according to ranked task-aware scores obtained from TS-Conv. Extensive experiments on several public datasets covering multiple scenes, multimodal images, and multiple categories of objects demonstrate the effectiveness, scalability, and superior performance of the proposed TS-Conv.

연구 동기 및 목표

• 다양한 물체 방향에서 임의의 방향을 가진 물체 검출(AOOD)에서 국소화 및 분류 작업 간의 일관되지 않은 특징 민감도(IFS) 문제를 해결한다.
• 기존 방법에서의 고정된 수신장과 공유된 샘플링 오프셋의 한계를 극복하여 작업별 및 방향 인식 특징을 효과적으로 캡처한다.
• TS-Conv에서 학습된 작업 인식 점수를 기반으로 최적의 후보 위치를 선택하는 동적, 작업 인식 레이블 할당 전략을 개발한다.
• 추가적인 추론 비용 없이 경량 모델과 다중 모odal 데이터(RGB, SAR, 적외선 등)에 대해 확장성과 강건성을 확보한다.
• 밀도가 높고 다중 방향의 위성 영상에서 검출 정확도를 향상시키고, 특히 선박과 같은 극단적인 종횡비를 가진 물체의 오분류를 줄인다.

제안 방법

• 국소화 및 분류 브랜치를 독립적으로 분리하고, 작업별로 적응적인 샘플링 전략을 적용하는 작업별 샘플링 컨볼루션(TS-Conv)을 설계한다.
• 국소화를 위해 샘플링 위치는 공간 좌표를 사용하여 기울기 민감 영역과 일치하도록 오리엔티드 바운딩 박스(OBB) 예측에 의해 지도된다.
• 분류를 위해 샘플링 위치와 컨볼루션 커널이 물체의 방향에 따라 적응적으로 조정되어 다양한 각도에서 특징의 강건성을 향상시킨다.
• TS-Conv에서 생성된 작업 인식 점수를 사용해 후보 위치를 순위 매기고 레이블을 할당하는 동적 작업 인식 레이블 할당(Dynamic Task-aware Label Assignment, DTLA) 메커니즘을 도입한다.
• 고정된 커널 제약 없이 공간적 및 방향 민감도를 캡처하기 위해 작업별 및 방향 인식 샘플링 오프셋을 가진 변형 가능 컨볼루션을 사용한다.
• 앵커리스 검출 프레임워크에 TS-Conv를 통합하여 효율성을 유지하면서도 특징 정렬과 예측 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 물체 방향에서 임의의 방향을 가진 물체 검출에서 국소화 및 분류 작업 간의 일관되지 않은 특징 민감도(IFS) 문제를 어떻게 완화할 수 있는가?
• RQ2 작업별 및 방향 인식 특징 샘플링은 밀도가 높고 다중 방향의 항공 영상에서 검출 정확도와 강건성을 향상시키는가?
• RQ3 정적 또는 공유된 샘플링 전략에 비해 동적 작업 인식 레이블 할당은 예측 품질을 어느 정도 향상시키는가?
• RQ4 TS-Conv는 추가적인 추론 비용 없이 다양한 데이터 모달리티(RGB, SAR, 적외선 등)와 경량 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ5 명시적인 방향 인식 샘플링이 표준 벤치마크에서 오분류를 줄이고 mAP를 향상시키는 데 어떤 영향을 미치는가?

주요 결과

• DIOR-R 데이터셋에서 TS-Conv는 기준 모델 GGHL 대비 mAP50:95에서 3.94점 향상되어 41.38 mAP50:95를 달성한다.
• SSDD+ SAR 데이터셋에서 TS-Conv는 기준 모델 GGHL 대비 mAP75에서 19.78점 향상되어 41.96 mAP75를 달성한다.
• HRSC2016에서 TS-Conv는 80.81 mAP50:95를 기록하여 기준 모델 GGHL 대비 2.27점 향상되었다.
• 이 방법은 RGB, 적외선, SAR, 펄스파닉룰러 이미지 등 다양한 데이터셋에서 뛰어난 일반화 성능을 보이며 최신 기술 수준의 성능을 달성한다.
• TS-Conv는 높은 효율성과 확장성을 유지하여 추론 비용 증가 없이 MobileNetV2와 같은 경량 모델에서도 성능 향상을 이룬다.
• 시각화 결과는 TS-Conv가 오분류를 줄이고 특히 극단적인 종횡비를 가진 선박과 같은 물체에 대해 더 정확한 오리엔티드 바운딩 박스를 생성함을 확인한다.