[논문 리뷰] Guided Attention Network for Object Detection and Counting on Drones

Yuanqiang Cai, Dawei Du외 5명|arXiv (Cornell University)|2019. 09. 25.

Advanced Neural Network Applications참고 문헌 34인용 수 11

한 줄 요약

이 논문은 드론 기반 객체 검출 및 세기 작업을 위한 새로운 앵커리스 가이드드 어텐션 네트워크(GANet)를 제안한다. 약한 지도(background attention, BA)와 전경 어텐션(FA) 모듈을 활용하여 특징 표현을 향상시킨다. 제안된 방법은 UAVDT, CARPK, PUCPR+ 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, BA, FA 및 새로운 데이터 증강 전략을 결합했을 때 기준 모델 대비 7.8%의 AP 향상을 기록하였다.

ABSTRACT

Object detection and counting are related but challenging problems, especially for drone based scenes with small objects and cluttered background. In this paper, we propose a new Guided Attention Network (GANet) to deal with both object detection and counting tasks based on the feature pyramid. Different from the previous methods relying on unsupervised attention modules, we fuse different scales of feature maps by using the proposed weakly-supervised Background Attention (BA) between the background and objects for more semantic feature representation. Then, the Foreground Attention (FA) module is developed to consider both global and local appearance of the object to facilitate accurate localization. Moreover, the new data argumentation strategy is designed to train a robust model in various complex scenes. Extensive experiments on three challenging benchmarks (i.e., UAVDT, CARPK and PUCPR+) show the state-of-the-art detection and counting performance of the proposed method compared with existing methods.

연구 동기 및 목표

• 크기 변화가 심하고 다양한 조명 조건이 존재하는 드론 영상에서 소형이고 혼잡한 객체를 탐지하고 세는 데 도전하는 문제를 해결한다.
• 다중 척도 특징 피라미드에 분류 가능한 배경 및 전경 어텐션 메커니즘을 통합하여 특징 표현을 향상시킨다.
• 기존의 무 supervision 어텐션 모듈의 한계를 보완하기 위해 약한 지도 학습을 통한 배경 구분을 도입하여 더 나은 의미 이해를 달성한다.
• dense한 조명 조건( nie, dense, 흐린 날씨 등)에서 모델의 일반화 능력을 향상시키기 위해 견고한 데이터 증강 전략을 개발한다.
• 검출 및 세기 작업 모두에서 UAVDT, CARPK, PUCPR+와 같은 표준 드론 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 전경-배경 분류에서 유도된 약한 지도를 활용해 다중 척도 특징 맵 간의 특징 융합을 이끄는 배경 어텐션(BA) 모듈을 도입한다.
• 객체의 모서리 영역에 집중함으로써 전역 및 국소적 외관 특징을 통합하는 전경 어텐션(FA) 모듈을 설계하여 정위치 정확도를 향상시킨다.
• 드론 환경에서 다양한 조명 조건(예: 안개, 야간, 햇빛이 강한 날씨)을 시뮬레이션하기 위해 밝기 노이즈와 페린 노이즈를 사용하는 새로운 데이터 증강 전략을 구현한다.
• FPN 스타일의 횡방향 연결을 사용하여 BA 및 FA 모듈을 특징 피라미드 네트워크 기반의 앵커리스 검출 프레임워크에 통합한다.
• 검출 및 세기 목표를 동시에 최적화하는 다중 작업 손실을 사용하며, FA 임계값은 학습 가능한 파rameter κ로 제어된다.
• BA에 대해 후기, 전기, 혼합 융합 전략을 적용하였으며, 분석 결과 전기 융합 전략이 가장 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 무 supervision 어텐션 메커니즘과 비교해 약한 지도 학습을 통한 배경 어텐션은 드론 기반 객체 검출 및 세기 작업에서 특징 표현을 향상시키는가?
• RQ2 전역 및 국소적 외관 모델링을 FA를 통해 통합함으로써 혼잡하고 소형 객체가 많은 드론 영상에서 검출 정확도는 어떻게 향상되는가?
• RQ3 페린 노이즈와 밝기 노이즈를 포함한 새로운 데이터 증강 전략은 다양한 조명 조건에서 모델의 강인성 향상에 얼마나 기여하는가?
• RQ4 배경 어텐션, 전경 어텐션, 데이터 증강의 상대적 기여도는 전체 검출 성능에 어떻게 영향을 미치는가?
• RQ5 제안된 GANet 프레임워크는 UAVDT, CARPK, PUCPR+와 같은 표준 드론 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 GANet에 BA 및 FA 모듈을 모두 통합한 결과, 기준 모델 대비 UAVDT 데이터셋에서 AP 점수 7.8% 상승(0.4181 → 0.4576)을 기록하였다.
• κ = 1인 FA 모듈이 가장 뛰어난 검출 성능을 보였으며, AP를 0.4181에서 0.4411로 상승시켜 국소적 객체 특징을 효과적으로 포착함을 입증하였다.
• BA 모듈은 기존의 SE 및 GC 블록과 비교해도 UAVDT에서 모든 카메라 뷰(앞면, 측면, 조감도)에서 가장 높은 AP를 기록하여 우수한 성능을 입증하였다.
• 제안된 데이터 증강 전략(BPNoise)은 기준 모델 대비 전체 AP를 2% 향상시켰으며, 안개 낀 환경에서는 38% 향상(0.2118 vs. 0.1509)을 기록하였다.
• BA, FA, 데이터 증강의 조합은 UAVDT, CARPK, PUCPR+ 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, GANet+BPNoise+BA는 UAVDT에서 0.4576의 AP를 기록하였다.
• 절단 분석 결과, BA 및 FA는 각각 3–4%의 AP 향상을 기여하며, 이들의 조합는 누적 7.8% 향상을 이끌어내어 상호 보완적 역할을 확인하였다.