[논문 리뷰] UDD: An Underwater Open-sea Farm Object Detection Dataset for Underwater Robot Picking.

Zhihui Wang, Chongwei Liu외 7명|arXiv (Cornell University)|2020. 03. 03.

Advanced Neural Network Applications참고 문헌 69인용 수 13

한 줄 요약

이 논문은 해조류, 해마루, 조개 등 3개 종류의 해양 생물 2,227장의 이미지를 포함한, 실세계의 개방 해양 농장에서 수집한 수중 로봇 집게 작업을 위한 첫 번째 실세계 데이터셋인 UDD를 소개한다. 클래스 불균형과 소형 객체 탐지 과제를 해결하기 위해, Poisson GAN을 활용한 데이터 증강 기법(18,000장의 이미지로 구성된 AUDD 생성)과 다중 척도 융합 및 블러 샘플링 기반의 경량 UnderwaterNet을 제안하여, 정확도 손실 없이 130만 파rameter와 48FPS 추론 속도를 달성한다.

ABSTRACT

To promote the development of underwater robot picking in sea farms, we propose an underwater open-sea farm object detection dataset called UDD. Concretely, UDD consists of 3 categories (seacucumber, seaurchin, and scallop) with 2227 images. To the best of our knowledge, it's the first dataset collected in a real open-sea farm for underwater robot picking and we also propose a novel Poisson-blending-embedded Generative Adversarial Network (Poisson GAN) to overcome the class-imbalance and massive small objects issues in UDD. By utilizing Poisson GAN to change the number, position, even size of objects in UDD, we construct a large scale augmented dataset (AUDD) containing 18K images. Besides, in order to make the detector better adapted to the underwater picking environment, a dataset (Pre-trained dataset) for pre-training containing 590K images is also proposed. Finally, we design a lightweight network (UnderwaterNet) to address the problems that detecting small objects from cloudy underwater pictures and meeting the efficiency requirements in robots. Specifically, we design a depth-wise-convolution-based Multi-scale Contextual Features Fusion (MFF) block and a Multi-scale Blursampling (MBP) module to reduce the parameters of the network to 1.3M at 48FPS, without any loss on accuracy. Extensive experiments verify the effectiveness of the proposed UnderwaterNet, Poisson GAN, UDD, AUDD, and Pre-trained datasets.

연구 동기 및 목표

• 로봇 집게 작업용 실세계 수중 개방 해양 농장 데이터셋의 부족 문제를 해결하기 위해.
• 안개진한, 저조도 조건에서 소형이며 다수의 객체가 불균형하게 분포된 수중 객체 탐지 과제를 해결하기 위해.
• 로봇 시스템의 실시간 성능 요구 조건을 충족하는 경량적이고 효율적인 탐지기 개발을 위해.
• 모델의 일반화 능력과 강인성을 향상시키기 위해 대규모 증강 데이터셋(AUDD)을 생성하기 위해.
• 수중 객체 탐지에 대한 특징 학습을 향상시키기 위해 59만 장의 사전 훈련 데이터셋을 제공하기 위해.

제안 방법

• 실제 농장 조건에서 수집한 2,227장의 이미지로 구성된 실세계 데이터셋인 UDD를 제안하며, 세 종류의 생물(해조류, 해마루, 조개)을 포함한다.
• Poisson 블렌딩을 통합하여 실제와 유사한 객체 배치, 크기, 밀도를 합성할 수 있는 새로운 생성적 적대적 네트워크인 Poisson GAN을 제안한다.
• Poisson GAN을 활용해 클래스 불균형과 소형 객체 부족 문제를 완화하기 위해 18,000장의 이미지로 구성된 대규모 증강 데이터셋인 AUDD를 생성한다.
• 다중 척도 맥락적 특징 융합(MFF) 블록을 기반으로 한 깊이 분해형 컨볼루션을 활용한 경량 객체 탐지 네트워크인 UnderwaterNet을 설계하여 특징 표현 능력을 향상시킨다.
• 계산 비용을 줄이면서도 정확도를 유지하기 위해 다중 척도 블러 샘플링(MBP) 모듈을 통합한다.
• 기본 네트워크를 초기화하기 위해 59만 장의 이미지로 구성된 사전 훈련 데이터셋을 활용하여 수중 탐지에 적합한 특징 학습 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 실세계 개방 해양 농장 데이터셋이 수중 로봇 집게 작업 시스템의 성능과 일반화 능력을 향상시키는가?
• RQ2 Poisson GAN이 소형 객체 및 불균형한 수중 데이터셋을 효과적으로 증강하여 탐지기의 강인성을 향상시키는가?
• RQ3 경량 네트워크가 저조도, 안개진한 수중 환경에서도 정확도를 유지하면서 높은 추론 속도(48FPS)를 달성할 수 있는가?
• RQ4 대규모 수중 이미지 컬렉션에서 사전 훈련을 수행하면 UDD 및 AUDD에서의 탐지 성능 향상 정도는 어느 정도인가?
• RQ5 MFF 및 MBP 모듈이 수중 객체 탐지에서 파rameter 효율성과 탐지 정확도 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 UDD 데이터셋은 실세계 개방 해양 농장에서 수집된 수중 로봇 집게 작업을 위한 첫 번째 데이터셋으로, 실제 농장 조건에서 확보되었다.
• Poisson GAN은 다양한 실제감 있는 객체 증강을 성공적으로 생성하여 데이터셋 크기를 18,000장(AUDD)으로 증가시키고 모델의 강인성을 향상시켰다.
• UnderwaterNet은 오직 130만 개의 파라미터로 48FPS의 추론 속도를 달성하여 실시간 로봇 구현에 매우 효율적임을 입증했다.
• MFF 블록은 다중 척도 특징 표현 능력을 향상시키고, MBP 모듈은 정확도 손실 없이 모델 복잡도를 감소시켰다.
• 광범위한 실험 결과, UDD, AUDD, Poisson GAN, 사전 훈련 데이터셋의 조합이 모든 벤치마크에서 탐지 성능을 크게 향상시킴을 확인했다.
• 59만 장의 사전 훈련 데이터셋은 더 나은 특징 학습을 가능하게 하여, 후속 탐지 작업에서의 일반화 능력을 향상시켰다.