[논문 리뷰] SWIPENET: Object detection in noisy underwater images

Long Chen, Feixiang Zhou외 6명|arXiv (Cornell University)|2020. 10. 19.

Advanced Neural Network Applications참고 문헌 36인용 수 14

한 줄 요약

이 논문은 소형 물체 탐지 성능을 햖스키고 노이즈가 많은 수중 영상에서의 정확도를 높이기 위해 다중 척도 하이퍼 특징 맵을 갖춘 딥러닝 아키텍처인 SWIPENET을 제안하며, 쉽게부터 어려운 샘플로 점진적으로 학습하는 새로운 Curriculum Multi-Class Adaboost (CMA) 학습 프레임워크를 결합하여 노이즈에 대한 강인성을 향상시킨다. 이 프레임워크는 네 개의 수중 데이터셋에서 최신 기준 성능(mAP)을 달성하여 기존 방법보다 정확도와 노이즈 내성 면에서 뛰어난 성능을 보였다.

ABSTRACT

In recent years, deep learning based object detection methods have achieved promising performance in controlled environments. However, these methods lack sufficient capabilities to handle underwater object detection due to these challenges: (1) images in the underwater datasets and real applications are blurry whilst accompanying severe noise that confuses the detectors and (2) objects in real applications are usually small. In this paper, we propose a novel Sample-WeIghted hyPEr Network (SWIPENET), and a robust training paradigm named Curriculum Multi-Class Adaboost (CMA), to address these two problems at the same time. Firstly, the backbone of SWIPENET produces multiple high resolution and semantic-rich Hyper Feature Maps, which significantly improve small object detection. Secondly, a novel sample-weighted detection loss function is designed for SWIPENET, which focuses on learning high weight samples and ignore learning low weight samples. Moreover, inspired by the human education process that drives the learning from easy to hard concepts, we here propose the CMA training paradigm that first trains a clean detector which is free from the influence of noisy data. Then, based on the clean detector, multiple detectors focusing on learning diverse noisy data are trained and incorporated into a unified deep ensemble of strong noise immunity. Experiments on two underwater robot picking contest datasets (URPC2017 and URPC2018) show that the proposed SWIPENET+CMA framework achieves better accuracy in object detection against several state-of-the-art approaches.

연구 동기 및 목표

• 수중 환경에서의 소형 물체 탐지와 심각한 영상 노이즈라는 이중 과제를 해결하기 위해.
• 저조도, 낮은 대비, 색상 왜곡 등 실제 수중 촬영 조건에서의 일반화 능력과 강인성을 향상시키기 위해.
• 쉬운 샘플에서 어려운 샘플로 점진적으로 학습하는 학습 프레임워크를 개발하여 노이즈가 많은 데이터가 모델 수렴과 성능에 악영향을 미치는 것을 줄이기 위해.
• 딥 데텍터를 위한 선택적 앙상블 전략을 통해 정확도와 계산 효율성의 균형을 이루기 위해.

제안 방법

• SWIPENET은 소형 물체 탐지를 향상시키기 위해 다수의 고해상도이자 의미 정보가 풍부한 하이퍼 특징 맵을 생성하는 백본 네트워크를 사용한다.
• 학습 중에 정보가 풍부한 높은 가중치 샘플을 우선적으로 학습하고 노이즈가 많거나 품질이 낮은 샘플을 억제하기 위해 샘플 가중치 기반 탐지 손실 함수를 도입한다.
• Cur리큘럼 다중 클래스 어답티즘(CMA) 학습 프레임워크는 두 단계로 구성된다: 쉬운 샘플로 훈련하는 노이즈 제거 단계와, 청소된 모델의 지식 정제를 통해 다양한 노이즈가 포함된 샘플로 다수의 탐지기를 훈련하는 노이즈 학습 단계.
• 노이즈 학습 단계의 탐지기는 청소된 모델의 가중치로 초기화되어 낮은 국소 최적값에 갇히는 것을 방지하고 수렴 속도를 가속화한다.
• 추론 속도와 탐지 정확도의 균형을 이루기 위해 다양하고 높은 성능을 보이는 탐지기의 부분집합을 선택하는 선택적 앙상블 알고리즘을 적용한다.
• 샘플 재가중과 커리큘럼 학습 원리를 인간 교육에서 영감을 얻어 통합하여, 노이즈가 많고 복잡한 수중 환경에서도 모델의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 척도 하이퍼 특징 맵을 갖춘 딥 네트워크 아키텍처가 소형 수중 물체 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 샘플 가중치 기반 손실 함수는 수중 객체 탐지에서 노이즈가 많은 훈련 샘플에 대한 모델 강인성을 어떻게 향상시키는가?
• RQ3 쉬운 샘플에서 어려운 샘플로 점진적으로 학습하는 커리큘럼 기반 학습 전략이 노이즈가 많은 수중 데이터셋에서 수렴성과 일반화 능력을 향상시키는가?
• RQ4 CMA를 통해 훈련된 탐지기 앙상블은 실제 수중 데이터셋에서 단일 모델 탐지기보다 정확도와 노이즈 내성 면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• URPC2017에서 SWIPENET+CMA는 8번의 훈련 반복 후 평균 평균 정확도(mAP)가 52.5%를 기록하여, SWIPENET+MA(39.8%)와 SWIPENET+Curriculum(3회 반복 시 43.9%)를 크게 앞서며 뛰어난 성능을 보였다.
• URPC2018에서 SWIPENET+CMA는 8회 반복 시 mAP가 68.0%에 도달했고, SWIPENET+MA와 SWIPENET+Curriculum는 각각 59.3%와 63.8%로 떨어지며 뛰어난 안정성과 성능을 입증했다.
• URPC2019에서는 소형 물체가 주요 과제임에도 불구하고, SWIPENET+CMA는 63.9%의 mAP를 기록하여, 노이즈가 덜한 데이터임에도 불구하고 SWIPENET+MA(56.3%)와 SWIPENET+Curriculum(60.8%)를 앞서는 성능을 보였다.
• ChinaMM 데이터셋에서는 SWIPENET+CMA가 8회 반복 후 85.5%의 mAP를 기록하여 다양한 수중 환경과 물체 크기에서 강력한 일반화 능력을 보였다.
• 모든 데이터셋에서 CMA 학습 프레임워크는 다중 클래스 어답티즘(MA)과 커리큘럼 학습(Curriculum)을 모두 앞서며 노이즈 데이터 처리 능력과 모델 강인성 향상 효과를 입증했다.
• 선택적 앙상블 전략은 탐지 정확도와 추론 속도 사이의 균형을 효과적으로 유지하여, 실시간 AUV 및 ROV 응용 분야에서의 실용성을 입증했다.