[논문 리뷰] Underwater object detection using Invert Multi-Class Adaboost with deep learning

Long Chen, Zhihua Liu외 5명|arXiv (Cornell University)|2020. 05. 23.

Advanced Neural Network Applications참고 문헌 32인용 수 11

한 줄 요약

이 논문은 소형 수중 물체 검출을 향상시키기 위해 고해상도 및 의미 정보가 풍부한 하이퍼 특징 맵을 통합한 딥 신경망인 SWIPENet를 제안하며, 노이즈가 많은 데이터를 완화하기 위해 Invert Multi-Class Adaboost (IMA) 샘플 재가중 알고리즘을 함께 사용한다. SWIPENet+IMA 프레임워크는 URPC2018에서 SOTA mAP 64.5를 달성하여 기존 방법들보다 3.9% 이상 뛰어나다.

ABSTRACT

In recent years, deep learning based methods have achieved promising performance in standard object detection. However, these methods lack sufficient capabilities to handle underwater object detection due to these challenges: (1) Objects in real applications are usually small and their images are blurry, and (2) images in the underwater datasets and real applications accompany heterogeneous noise. To address these two problems, we first propose a novel neural network architecture, namely Sample-WeIghted hyPEr Network (SWIPENet), for small object detection. SWIPENet consists of high resolution and semantic rich Hyper Feature Maps which can significantly improve small object detection accuracy. In addition, we propose a novel sample-weighted loss function which can model sample weights for SWIPENet, which uses a novel sample re-weighting algorithm, namely Invert Multi-Class Adaboost (IMA), to reduce the influence of noise on the proposed SWIPENet. Experiments on two underwater robot picking contest datasets URPC2017 and URPC2018 show that the proposed SWIPENet+IMA framework achieves better performance in detection accuracy against several state-of-the-art object detection approaches.

연구 동기 및 목표

• 실제 수중 영상에서 해상도가 낮고 흐릿한 현상으로 인해 소형 수중 물체를 탐지하는 데 어려움을 해결한다.
• 검출 성능을 저하시키는 수중 데이터셋 내 이질적인 노이즈의 악영향을 완화한다.
• 고해상도 및 의미 정보가 풍부한 하이퍼 특징 맵을 활용하여 소형 물체의 특징 표현을 향상시킨다.
• 특히 잘못 분류되거나 노이즈가 많은 샘플에 영향을 줄 가능성을 줄이기 위해 강력한 샘플 재가중 전략을 개발한다.
• 기본 수중 검출 데이터셋 URPC2017 및 URPC2018에서 최고의 성능을 달성한다.

제안 방법

• 소형 물체 검출을 향상시키기 위해 다수의 고해상도 및 의미 정보가 풍부한 하이퍼 특징 맵을 통합한 새로운 신경망 아키텍처인 SWIPENet를 제안한다.
• 샘플 중요도에 따라 손실 함수를 동적으로 조정하는 샘플 가중 손실 함수를 설계하며, 이는 새로운 재가중 메커니즘을 사용한다.
• 각 반복에서 잘못 분류된 샘플의 가중치를 증가시켜 강건성을 향상시키는 검출 기반 샘플 재가중 알고리즘인 Invert Multi-Class Adaboost (IMA)를 도입한다.
• 분류 오차에 기반하여 샘플 가중치를 업데이트함으로써 어려운 또는 노이즈가 많은 샘플에 집중할 수 있도록, SWIPENet를 IMA와 함께 반복적으로 훈련한다.
• 다양한 IMA 반복 과정에서 훈련된 다수의 SWIPENet 모델을 앙상블하여 성능을 추가로 향상시킨다.
• 표준 객체 검출 메트릭(예: mAP 및 클래스별 정밀도/재현율)을 사용하여 실제 수중 데이터셋인 URPC2017 및 URPC2018에서 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 강화된 특징 표현을 갖춘 딥 신경망 아키텍처는 소형 수중 물체의 검출 정확도를 향상시킬 수 있는가?
• RQ2 분류 오차 기반 샘플 재가중 전략은 수중 객체 검출에서 노이즈가 많은 샘플의 영향을 어느 정도 줄일 수 있는가?
• RQ3 하이퍼 특징 맵과 반복적 샘플 재가중의 조합이 다양한 수중 물체 카테고리에 걸쳐 일관된 성능 향상을 이끌 수 있는가?
• RQ4 제안된 SWIPENet+IMA 프레임워크는 SSD, YOLOv3, Faster R-CNN와 같은 최신 검출기들과 비교해 실수중 데이터셋에서 어떻게 성능을 내는가?
• RQ5 앙상블 모델링은 특히 소형 또는 탐지가 어려운 물체에서 검출 성능을 추가로 향상시킬 수 있는가?

주요 결과

• URPC2018에서 제안된 SWIPENet+IMA 앙상블 모델은 평균 평균 정밀도(mAP) 64.5를 기록하여 모든 SOTA 방법들보다 3.9% 이상 뛰어나다.
• OurBestSingle 모델은 URPC2018에서 63.3 mAP를 달성하여 OurFirstSingle 대비 1.1% 향상되었으며, 이는 반복적 IMA 재가중의 효과를 입증한다.
• URPC2017에서 앙상블 모델은 46.3 mAP를 기록하여 공식 URPC2017 경쟁 우승자 및 모든 베이스라인 방법들을 능가했다.
• Precision/Recall 곡선을 통해 SWIPENet 아키텍처는 SSD 및 Faster R-CNN 대비 소형 물체(예: 바다거북, 문어) 탐지 성능을 크게 향상시켰다.
• OurFirstSingle 모델은 URPC2018에서 62.2 mAP를 기록하여 SSD512(60.6 mAP), YOLOv3(57.7 mAP), ResNet101 기반 Faster R-CNN(59.8 mAP)를 모두 능가했으며, 이는 SWIPENet가 소형 물체 검출에서 뛰어난 성능을 보임을 입증한다.
• 앙상블은 대부분의 카테고리에서 성능 향상을 이뤘지만, 개별 카테고리의 성과 향상 폭은 다양했으며, 특히 바다거북 탐지에서는 OurBestSingle 모델이 앙상블보다 뛰어났다.