[논문 리뷰] Context-Aware Single-Shot Detector

Wei Xiang, Dongqing Zhang외 2명|arXiv (Cornell University)|2017. 07. 27.

Advanced Neural Network Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 확장된 유효 수신장(Effective Receptive Field, ERF)을 통해 다중 척도의 맥락적 특징을 확보함으로써 SSD의 성능을 향상시키는 컨텍스트 인식 단일 셷드 탐지기인 CSSD를 제안한다. 이는 실시간 추론 속도를 유지하면서도 소형 객체 탐지 정확도를 크게 향상시킨다.

ABSTRACT

SSD is one of the state-of-the-art object detection algorithms, and it combines high detection accuracy with real-time speed. However, it is widely recognized that SSD is less accurate in detecting small objects compared to large objects, because it ignores the context from outside the proposal boxes. In this paper, we present CSSD--a shorthand for context-aware single-shot multibox object detector. CSSD is built on top of SSD, with additional layers modeling multi-scale contexts. We describe two variants of CSSD, which differ in their context layers, using dilated convolution layers (DiCSSD) and deconvolution layers (DeCSSD) respectively. The experimental results show that the multi-scale context modeling significantly improves the detection accuracy. In addition, we study the relationship between effective receptive fields (ERFs) and the theoretical receptive fields (TRFs), particularly on a VGGNet. The empirical results further strengthen our conclusion that SSD coupled with context layers achieves better detection results especially for small objects ($+3.2\% { m AP}_{@0.5}$ on MS-COCO compared to the newest SSD), while maintaining comparable runtime performance.

연구 동기 및 목표

• SSD가 제한된 맥락 인식으로 인해 소형 객체에서 성능이 열등한 문제를 해결하기 위해.
• CNN에서 이론적 수신장(Theoretical Receptive Field, TRF)과 유효 수신장(ERF) 간의 괴리를 분석하기 위해, 특히 VGG16에서의 경우를 중심으로.
• 계산 비용을 증가시키지 않으면서도 다중 척도 맥락적 특징을 통합하여 SSD의 탐지 정확도를 향상시키기 위해.
• 특징 융합 과정에서 스케일링 파라미터를 학습하는 두 가지 변형—DiCSSD(dilated convolutions)와 DeCSSD(deconvolutions)—를 개발하기 위해.
• 맥락 모델링이 특히 소형 및 가림된 객체 탐지에 크게 기여함을 검증하기 위해.

제안 방법

• CSSD는 고수준 특징 맵으로부터 다중 척도 맥락적 특징을 캡처하는 맥락 레이어를 추가하여 SSD를 확장한다.
• DiCSSD는 조절 가능한 비율을 가진 확장된 컨volution을 사용하여 수신장을 확장하면서도 공간 해상도를 유지한다.
• DeCSSD는 더 깊은 층의 특징 맵을 직접 재사용하고, 학습 가능한 스케일링 파라미터를 사용하여 하위 수준의 특징과 융합한다.
• 두 변형 모두 엔드 투 엔드 학습을 통해 맥락적 특징을 융합하며, 네트워크가 최적의 융합 가중치를 학습할 수 있도록 한다.
• 기존 SSD 블록 위에 경량의 학습 가능한 레이어만 추가함으로써 SSD의 단일 셷드 추론 속도를 유지한다.
• 유효 수신장(ERF) 분석을 수행하여 ERF가 이론적 수신장(TRF)보다 훨씬 작다는 것을 확인함으로써 맥락 모델링의 필요성을 정당화한다.

실험 결과

연구 질문

• RQ1 CNN 레이어의 유효 수신장(ERF)은 이론적 수신장(TRF)과 비교해 어떻게 다른가? 이는 객체 탐지에 어떤 영향을 미치는가?
• RQ2 다중 척도 맥락 모델링은 소형 객체 탐지 정확도를 향상시킬 수 있는가?
• RQ3 확장된 컨볼루션(DiCSSD) 또는 복소 컨볼루션(DeCSSD)을 통한 맥락 통합이 표준 SSD보다 더 높은 성능을 낼 수 있는가?
• RQ4 제안된 맥락 레이어는 기준 SSD 대비 추론 속도와 메모리 소비에 어떤 영향을 미치는가?
• RQ5 맥락 통합은 가림 또는 잘린 객체와 같은 도전적인 조건에서 탐지 성능을 얼마나 향상시키는가?

주요 결과

• 확장된 컨볼루션을 사용하는 CSSD(DiCSSD)는 최신 SSD 대비 MS-COCO에서 +3.2%의 AP@0.5 향상을 기록했으며, 테스트된 모든 모델 중에서 가장 높은 mAP를 기록했다.
• 소형 객체의 경우, DiCSSD는 8.2%의 평균 정밀도(비교 대비 6.6%)와 15.4%의 재현율(모든 방법 중 최고)을 기록하여 뚜렷한 향상을 보였다.
• PASCAL VOC 2007에서 DiCSSD는 40.8 FPS의 실시간 추론 속도를 유지하며 DSSD(9.5 FPS)를 뛰어넘는 성능을 보였다. 이는 더 가벼운 VGG16 백본을 사용함에도 불구하고 성능을 높인 것이다.
• SSD의 conv4_3에서 유효 수신장(ERF)은 격자 크기보다 뿐만 아니라 1.9배 뿐이므로, ERF가 이론적 수신장(TRF)보다 훨씬 작다는 것을 확인하여 맥락 모델링의 필요성을 뒷받침한다.
• DiCSSD와 DeCSSD는 각각 PASCAL VOC 2007에서 표준 SSD 대비 0.6%와 0.1%의 mAP 향상을 기록했으며, 계산 비용은 최소한으로 유지되었다.
• DETRAC에서 DiCSSD는 모든 입력 해상도에서 최고의 성능을 기록하여, 그 강건성과 일반화 능력을 입증했다.