[논문 리뷰] Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection on Drone Images

Bowei Du, Yecheng Huang외 2명|arXiv (Cornell University)|2023. 03. 25.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 드론 객체 검출을 위한 플러그-앤플레이 검출 헤드 최적화 방법인 CEASC를 제안한다. 이는 전역적 맥락을 강화한 희소 컨벌루션과 적응형 다층 마스킹을 조합하여 정확도와 효율성을 균형 잡는다. 새로운 그룹 정규화 레이어를 통해 전역 맥락을 강화하고, 특징 피라미드 레이어별로 마스킹 비율을 동적으로 조정함으로써, GFLOPs를 최대 76.3% 감소시키고, 추론 속도를 60% 향상시키며, VisDrone에서 mAP를 0.3% 향상시키고 UAVDT에서 0.2% 향상시킨다.

ABSTRACT

Object detection on drone images with low-latency is an important but challenging task on the resource-constrained unmanned aerial vehicle (UAV) platform. This paper investigates optimizing the detection head based on the sparse convolution, which proves effective in balancing the accuracy and efficiency. Nevertheless, it suffers from inadequate integration of contextual information of tiny objects as well as clumsy control of the mask ratio in the presence of foreground with varying scales. To address the issues above, we propose a novel global context-enhanced adaptive sparse convolutional network (CEASC). It first develops a context-enhanced group normalization (CE-GN) layer, by replacing the statistics based on sparsely sampled features with the global contextual ones, and then designs an adaptive multi-layer masking strategy to generate optimal mask ratios at distinct scales for compact foreground coverage, promoting both the accuracy and efficiency. Extensive experimental results on two major benchmarks, i.e. VisDrone and UAVDT, demonstrate that CEASC remarkably reduces the GFLOPs and accelerates the inference procedure when plugging into the typical state-of-the-art detection frameworks (e.g. RetinaNet and GFL V1) with competitive performance. Code is available at https://github.com/Cuogeihong/CEASC.

연구 동기 및 목표

• 자원 제약이 있는 UAV 플랫폼에서 경량 객체 검출의 정확도와 추론 효율성 간 균형을 이루는 데 도전한다.
• 변동하는 전경 객체 크기와 희소한 객체 분포로 인해 고정되거나 최적화되지 않은 마스킹 비율로 인해 성능이 떨어지는 드론 영상에서 기존의 희소 컨벌루션 방법의 한계를 극복한다.
• 전역 맥락 정보를 통합하여 희소 컨벌루션의 특징 표현을 향상시켜 전경 특징 분포를 안정화하고 정확도 저하를 줄인다.
• 각 특징 피라미드 레벨에 맞게 마스킹 비율을 최적화하여 검출 정확도를 극대화하고 계산 비용을 최소화하는 적응형 레이어별 마스킹 전략을 설계한다.
• 최신 검출기인 RetinaNet과 GFL V1과도 호환되는 일반화 가능하고 플러그-앤플레이 솔루션을 개발하여 드론 플랫폼에서의 효율적 배포를 가능하게 한다.

제안 방법

• 희소하게 샘플링된 특징의 통계를 전역 맥락 통계로 대체하는 컨텍스트 강화 그룹 정규화(CE-GN) 레이어를 제안하여 전체 특징 표현을 유지하고 전경 분포를 안정화시킨다.
• CE-GN을 잔차 블록에 통합한 컨텍스트 강화 희소 컨벌루션(CESC) 모듈을 도입하여 희소 컨벌루션 환경에서의 특징 학습을 향상시킨다.
• 각 FPN 레이어에 대해 학습 가능한 손실 함수를 사용해 최적의 마스킹 비율을 별도로 계산하는 적응형 다층 마스킹(AMM) 기법을 설계하여 다양한 전경 크기에 동적으로 대응할 수 있도록 한다.
• 각 FPN 수준에 대해 마스킹 비율을 추정하는 레이어별 마스킹 전략을 적용하여, 특징 중요도와 희소성의 레이어 간 차이를 고려함으로써 글로벌 마스킹 비율 접근 방식보다 우수한 성능을 달성한다.
• 기존 검출기(GFL V1 및 RetinaNet 등)에 CEASC 프레임워크를 플러그인 방식으로 적용하여 아키텍처의 대대적인 수정 없이도 효율적인 추론을 가능하게 한다.
• 다양이 가능한 손실 함수를 사용해 마스킹 비율과 검출 성능를 동시에 최적화하여, 희소 컨벌루션의 계산이 압축되고 정보가 풍부한 영역에 집중되며 부작용 계산을 최소화하도록 보장한다.

실험 결과

연구 질문

• RQ1 희소 컨벌루션 네트워크에 전역 맥락을 효과적으로 통합할 수 있는가? 이를 통해 특징 분포를 안정화하고 미세한 객체 검출에서의 정확도 저하를 줄일 수 있는가?
• RQ2 드론 영상에서 검출 정확도와 계산 효율성을 균형 잡기 위해 다양한 특징 피라미드 레벨 간 마스킹 비율을 어떻게 적응적으로 제어할 수 있는가?
• RQ3 변동하는 크기의 전경 객체를 다루는 데 있어, 전역 마스킹 비율 대비 레이어별 적응형 마스킹 전략이 더 우수한가?
• RQ4 플러그-앤플레이 희소 컨벌루션 헤드는 GFLOPs를 얼마나 줄이고 추론 속도를 얼마나 빠르게 할 수 있으며, 드론 검출 벤치마크에서 mAP를 유지하거나 향상시킬 수 있는가?
• RQ5 제안된 방법은 재학습 없이도 VisDrone 및 UAVDT와 같은 다양한 최신 검출기와 데이터셋에 일반화 가능한가?

주요 결과

• GFL V1 검출기(ResNet18 기반)를 사용한 VisDrone에서 CEASC는 GFLOPs를 71.4% 감소시키고 추론 FPS를 60% 향상시키며 mAP를 0.3% 향상시켰다.
• UAVDT에서 CEASC는 기준 GFL V1 대비 GFLOPs를 76.3% 감소시키고 추론 속도를 38.9% 향상시키며 mAP를 0.2% 향상시켰다.
• 적응형 다층 마스킹(AMM) 전략은 고정 마스킹 비율보다 뛰어나며, 최적의 비율은 데이터셋에 따라 다름(VisDrone는 0.9, UAVDT는 0.95)을 입증하여 적응성의 必要성 을 입증한다.
• 레이어별 AMM 접근 방식은 글로벌 마스킹 비율 방법보다 뚜렷이 뛰어나며, 특징 간 레이어 간 변동성을 더 잘 처리함으로써 더 높은 mAP와 FPS를 달성한다.
• 고수준 FPN 특징(P6-P7)을 제거해도 mAP에 미미한 영향을 미치지만, P4를 제거하면 성능이 급격히 떨어지며, 이는 P4가 검출 정확도에서 핵심적인 역할을 한다는 것을 확인한다.
• CEASC는 모든 평가된 방법 중에서 컨벌루션 기반 방법 중 가장 낮은 GFLOPs를 기록하고 모든 방법 중에서 가장 높은 FPS를 달성하여 드론 검출 벤치마크에서 뛰어난 효율-정확도 트레이드오���을 보여준다.