[논문 리뷰] NETNet: Neighbor Erasing and Transferring Network for Better Single Shot Object Detection

Yazhao Li, Yanwei Pang외 3명|arXiv (Cornell University)|2020. 01. 18.

Advanced Neural Network Applications참고 문헌 24인용 수 8

한 줄 요약

NETNet는 특징 재구성 기반으로 스케일 인식 특징을 생성함으로써 단일 촬영 물체 검출 성능을 향상시키기 위해 이웃 제거 및 전달(NEtwork, NET) 메커니즘을 제안한다. 이는 얕은 층에서 큰 물체 특징을 억제하는 이웃 제거 모듈(NEM)과 이러한 특징을 깊은 층으로 전달하는 이웃 전달 모듈(NTM)을 사용하여 소형 물체의 거짓 음성 및 대형 물체의 부분 거짓 양성 검출을 크게 감소시킨다. NETNet는 MS COCO에서 27 FPS에서 38.5% AP, 55 FPS에서 32.0% AP를 기록하여 실시간 정확도의 뛰어난 트레이드오프를 입증한다.

ABSTRACT

Due to the advantages of real-time detection and improved performance, single-shot detectors have gained great attention recently. To solve the complex scale variations, single-shot detectors make scale-aware predictions based on multiple pyramid layers. However, the features in the pyramid are not scale-aware enough, which limits the detection performance. Two common problems in single-shot detectors caused by object scale variations can be observed: (1) small objects are easily missed; (2) the salient part of a large object is sometimes detected as an object. With this observation, we propose a new Neighbor Erasing and Transferring (NET) mechanism to reconfigure the pyramid features and explore scale-aware features. In NET, a Neighbor Erasing Module (NEM) is designed to erase the salient features of large objects and emphasize the features of small objects in shallow layers. A Neighbor Transferring Module (NTM) is introduced to transfer the erased features and highlight large objects in deep layers. With this mechanism, a single-shot network called NETNet is constructed for scale-aware object detection. In addition, we propose to aggregate nearest neighboring pyramid features to enhance our NET. NETNet achieves 38.5% AP at a speed of 27 FPS and 32.0% AP at a speed of 55 FPS on MS COCO dataset. As a result, NETNet achieves a better trade-off for real-time and accurate object detection.

연구 동기 및 목표

• 소형 물체의 거짓 음성 및 대형 물체의 부분 거짓 양성 검출 문제를 포함한 단일 촬영 물체 검출에서의 스케일 변동 문제를 지속적으로 해결한다.
• 얕은 층에서 큰 물체 특징이 지배하는 피라미드 특징 표현에서의 스케일 혼동 문제를 해결한다.
• 피라미드 층 간에 특징을 선택적으로 제거하고 전달하여 스케일 인식 특징을 생성하는 메커니즘을 개발한다.
• 단일 촬영 검출기에서 실시간 추론 속도와 검출 정확도 사이의 더 나은 균형을 달성한다.

제안 방법

• 스케일 인식 검출을 위해 피라미드 층 간 특징 재구성 기반으로 이웃 제거 및 전달(NEtwork, NET) 메커니즘을 제안한다.
• 반전 게이트 가중 제거 절차를 사용하여 얕은 층에서 큰 물체의 선명한 특징을 억제하는 이웃 제거 모듈(NEM)을 설계한다.
• 제거된 큰 물체 특징을 깊은 층으로 전달하여 그 표현을 향상시키기 위해 이웃 전달 모듈(NTM)을 도입한다.
• NET를 SSD에 통합하여 특징 집합 및 스케일 인식을 향상시키는 NETNet이라는 수정된 단일 촬영 검출기를 구축한다.
• 가장 가까운 피라미드 특징을 집계하여 특징 표현과 검출 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 피라미드 층 간 특징 재구성은 소형 물체의 거짓 음성 검출을 줄일 수 있는가?
• RQ2 큰 물체의 선명한 부분을 억제하면 부분 거짓 양성 검출이 줄어들 수 있는가?
• RQ3 얕은 층에서 제거된 특징을 깊은 층으로 전달하면 대형 물체 검출 정확도가 향상되는가?
• RQ4 통합된 메커니즘은 단일 촬영 검출기에서 소형 물체 검출과 대형 물체 정렬 모두를 향상시킬 수 있는가?

주요 결과

• NETNet는 MS COCO에서 27 FPS에서 38.5% AP, 55 FPS에서 32.0% AP를 기록하여 뛰어난 실시간 정확도 트레이드오프를 입증한다.
• COCO minival 세트에서 기준 SSD 대비 약 20,000개의 거짓 양성 오류가 감소하였다.
• 오류율 분석 결과에 따르면, 특히 높은 임계값 조건에서 부분 거짓 양성 오류가 크게 감소하였다.
• 소형 물체의 거짓 음성 오류는 SSD의 60.8%에서 NETNet의 39.8%로 감소하여 소형 물체 검출 성능 향상이 뚜렷하였다.
• 시각화 결과는 NETNet가 거짓 음성 및 부분 거짓 양성 문제를 효과적으로 완화함을 확인한다.