[논문 리뷰] A novel Multi to Single Module for small object detection

Xiaohui Guo|arXiv (Cornell University)|2023. 03. 27.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 소형 객체 검출을 위한 새로운 다중 입력 단일 출력 모듈(M2S)을 제안하며, 다중 척도 특징을 융합하기 위한 교차 척도 집합 모듈(CAM)과 공간 및 채널 주의를 결합한 이중 관계 모듈(DRM)을 통합한다. M2S는 YOLOv5s에 비해 VisDrone2021-DET에서 검출 정확도를 1.1% 향상시키고, SeaDronesSeeV2에서는 15.68% 향상시킨다.

ABSTRACT

Small object detection presents a significant challenge in computer vision and object detection. The performance of small object detectors is often compromised by a lack of pixels and less significant features. This issue stems from information misalignment caused by variations in feature scale and information loss during feature processing. In response to this challenge, this paper proposes a novel the Multi to Single Module (M2S), which enhances a specific layer through improving feature extraction and refining features. Specifically, M2S includes the proposed Cross-scale Aggregation Module (CAM) and explored Dual Relationship Module (DRM) to improve information extraction capabilities and feature refinement effects. Moreover, this paper enhances the accuracy of small object detection by utilizing M2S to generate an additional detection head. The effectiveness of the proposed method is evaluated on two datasets, VisDrone2021-DET and SeaDronesSeeV2. The experimental results demonstrate its improved performance compared with existing methods. Compared to the baseline model (YOLOv5s), M2S improves the accuracy by about 1.1\% on the VisDrone2021-DET testing dataset and 15.68\% on the SeaDronesSeeV2 validation set.

연구 동기 및 목표

• 제한된 픽셀 수와 약한 특징으로 인해 모델 성능이 저하되는 소형 객체 검출의 과제를 해결하기 위해.
• 기존 네트워크에서 척도 변화로 인한 특징 불일치와 정보 손실, 단방향 특징 흐름으로 인한 문제를 극복하기 위해.
• 다중 척도 특징 융합과 이중 주의 메커니즘을 활용해 특징 추출 및 정제를 향상시키기 위해.
• M2S 모듈로 강화된 전용 검출 헤드를 통해 소형 객체 검출 정확도를 향상시키기 위해.
• 소형 객체 밀도가 높은 두 가지 벤치마크 데이터셋인 VisDrone2021-DET와 SeaDronesSeeV2에서 M2S의 효과를 검증하기 위해.

제안 방법

• 백본에서 유도된 다섯 수준의 특징을 세 수준의 특징으로 융합하기 위해 교차 척도 집합 모듈(CAM)을 제안하여 다중 척도 특징 인식 능력을 향상시킨다.
• 공간 주의와 채널 주의 메커니즘을 융합한 이중 관계 모듈(DRM)을 도입하여 다중 수준 입력을 활용해 특징을 정제한다.
• 백본과 넥 밸리지 네트워크 사이에 CAM을 통합하여 특징 피라미드 처리 이전에 저수준, 고해상도 특징을 강화한다.
• CAM 이후에 DRM을 통합하여 이중 주의를 활용해 융합된 세 수준의 특징을 더욱 정교하게 다듬어 더 бог enriched 의미 표현을 가능하게 한다.
• 강화된 특징을 기반으로 새로운 검출 헤드를 구축하여 소형 객체 검출 성능을 향상시킨다.
• 고해상도 특징 맵을 유지하면서도 다양한 척도 간의 맥락 정보를 융합하기 위해 다중 입력, 단일 출력 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 다중 입력에서 단일 출력으로의 모듈이 교차 척도 특징 융합을 향상시켜 소형 객체 검출을 위한 특징 표현을 개선할 수 있는가?
• RQ2 이중 주의 모듈에서 공간 주의와 채널 주의 메커니즘을 융합하면 단일 주의 메커니즘보다 더 나은 특징 정제를 이룰 수 있는가?
• RQ3 제안된 M2S 모듈이 최신 기술 대비 소형 객체 밀도가 높은 데이터셋에서 검출 정확도를 크게 향상시킬 수 있는가?
• RQ4 각 개별 구성 요소(CAM 및 DRM)는 성능 향상에 어떤 기여를 하는가? 그리고 두 요소의 조합은 상호 보완적인 효과를 가지는가?
• RQ5 M2S 모듈은 소형 객체 검출 성능 향상 외에도 큰 객체에 대해 경쟁적인 성능 유지를 유지하는가?

주요 결과

• YOLOv5s에 비해 VisDrone2021-DET 테스트 세트에서 M2S 모듈이 평균 정확도(AP)를 1.1% 향상시켰다.
• SeaDronesSeeV2 검증 세트에서 M2S는 YOLOv5s 대비 AP에서 15.68% 향상되어 소형 객체가 많은 데이터셋에서 뚜렷한 성과를 보였다.
• 제거 실험 결과, CAM만으로 AP가 0.57% 향상되고, DRM만으로는 0.73% 향상되며, 둘의 조합으로는 2.08% 향상되어 상호 보완 효과가 있음을 확인했다.
• DRM은 다른 주의 모듈보다 뛰어난 성능을 보였다: CAM과 조합했을 때 19.98 AP를 기록하여 CBAM(19.34 AP)과 SE(18.60 AP)를 모두 앞섰다.
• 시각적 분석 결과, M2S는 0.25의 신뢰도 임계값에서 기준 YOLOv5s보다 더 많은 소형 및 가림된 객체(예: 파도 속 수영자)를 검출함을 확인했다.
• 메서드는 큰 객체에 대해서도 YOLOv5s와 유사한 성능을 유지하여, 성능 향상이 소형 객체 검출에 특별히 집중되어 있음을 시사한다.