[논문 리뷰] MultiResolution Attention Extractor for Small Object Detection

Fan Zhang, Licheng Jiao외 3명|arXiv (Cornell University)|2020. 06. 10.

Advanced Neural Network Applications참고 문헌 24인용 수 8

한 줄 요약

이 논문은 다중 해상도 주의 메커니즘을 활용하여 다양한 해상도에서 관련 특징에 자동으로 집중하는 플러그 앤 플레이형 특징 추출기인 다중해상도주의특징추출기(MRAE)를 제안한다. 각 백본 블록 뒤에 경량 주의 모듈을 통합함으로써 MRAE는 소형 객체의 특징 표현을 향상시켜 COCO 소형 객체 검출 벤치마크에서 딱딱한 주의 기반 베이스라인 대비 2.0× AP 향상을 달성하며, 뛰어난 정확도와 효율성을 입증한다.

ABSTRACT

Small objects are difficult to detect because of their low resolution and small size. The existing small object detection methods mainly focus on data preprocessing or narrowing the differences between large and small objects. Inspired by human vision "attention" mechanism, we exploit two feature extraction methods to mine the most useful information of small objects. Both methods are based on multiresolution feature extraction. We initially design and explore the soft attention method, but we find that its convergence speed is slow. Then we present the second method, an attention-based feature interaction method, called a MultiResolution Attention Extractor (MRAE), showing significant improvement as a generic feature extractor in small object detection. After each building block in the vanilla feature extractor, we append a small network to generate attention weights followed by a weighted-sum operation to get the final attention maps. Our attention-based feature extractor is 2.0 times the AP of the "hard" attention counterpart (plain architecture) on the COCO small object detection benchmark, proving that MRAE can capture useful location and contextual information through adaptive learning.

연구 동기 및 목표

• 저해상도 및 제한된 문맥적 특징으로 인해 이미지 내 소형 객체 검출이 어려운 문제를 해결하기 위해.
• 데이터 증강이나 GAN 기반 전처리에 의존하지 않고도 소형 객체의 특징 표현을 향상시키기 위해.
• 다양한 객체 검출기에서 성능을 향상시킬 수 있는 일반적이고 효율적이며 학습 가능한 특징 추출기를 개발하기 위해.
• 인간의 시각 주의에 영감을 받은 주의 메커니즘을 활용해 소형 객체 검출에서 선택적 특징 학습을 탐색하기 위해.
• 기존의 이단계 검출기인 Faster R-CNN에 쉽게 통합할 수 있는 플러그 앤 플레이 모듈을 설계하기 위해.

제안 방법

• 기본 특징 추출기 백본의 각 블록 뒤에 추가되는 경량 네트워크인 다중해상도주의특징추출기(MRAE)를 도입한다.
• 학습 가능한 모듈을 통해 다중 스케일 특징 맵 간의 정보성 있는 특징에 자동으로 집중하는 주의 가중치를 계산한다.
• 주의 가중치를 계산한 후 가중합 연산을 통해 특징을 융합하여 개선된 주의 맵을 생성함으로써 소형 객체 특징을 강화한다.
• 초기에는 부드러운 주의 메커니즘을 사용하지만, 수렴 성능을 향상시키기 위해 더 안정적이고 효과적인 딱딱한 주의 기반 특징 상호작용 모듈로 전환한다.
• MRAE는 일단계 및 이단계 검출기 모두와 호환되도록 일반화 설계되었으며, 특히 Faster R-CNN과 함께 사용할 경우 뛰어난 성능을 발휘한다.
• 표준 검출 손실을 사용해 엔드 투 엔드로 학습되며, 주의 가중치는 역전파 동안 학습되어 주목할 만한 공간적 및 채널 기반 특징에 집중한다.

실험 결과

연구 질문

• RQ1 데이터 증강이나 GAN 기반 데이터 합성 없이도 주의 기반 특징 추출기가 소형 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 학습 가능한 주의를 통한 다중해상도 특징 상호작용이 고정 또는 비학습 특징 융합 방법에 비해 소형 객체 검출에서 어떻게 비교되는가?
• RQ3 제안된 MRAE 모듈이 소형 객체 검출에서 소프트 주의 기반 베이스라인에 비해 더 나은 수렴과 성능을 달성하는가?
• RQ4 표준 벤치마크에서 AP 및 AR 지표 측면에서 MRAE가 소형 객체의 특징 표현을 얼마나 향상시키는가?
• RQ5 MRAE는 아키텍처의 대대적인 개편 없이도 기존의 이단계 검출기인 Faster R-CNN에 효과적으로 플러그인 모듈로 사용될 수 있는가?

주요 결과

• MRAE는 COCO 소형 객체 검출 벤치마크에서 딱딱한 주의 기반 베이스라인 대비 2.0×의 AP 향상을 달성하여 뚜렷한 성능 향상을 입증한다.
• COCO 검증 세트에서 MRAE는 템플릿2를 사용해 AP 5.0과 AR1 8.2를 기록하며, 모든 베이스라인 모델과 소프트 주의 변형을 모두 압도한다.
• MRAE는 높은 추론 효율성을 유지하며, 500×300 입력 해상도에서 이미지당 추론 시간이 단 16ms 뿐이다.
• 소프트 주의 변형은 효과적으로 수렴하지 못했으며, 제안된 딱딱한 주의 기반 특징 상호작용 메커니즘이 필수적임을 시사한다.
• MRAE는 특히 소형 객체(AP^S)에 대해 모든 AP 지표에서 일관되게 성능을 향상시키며, 최고 성능 설정에서 4.8의 AP^S 점수를 기록한다.
• 모델은 다양한 백본 구성에서 잘 일반화되며 혼합 훈련 환경에서도 강건한 성능을 유지하여 3.5의 AP^0.5:0.95 점수를 기록한다.