[논문 리뷰] Deep Neural Networks for Marine Debris Detection in Sonar Images

Matías Valdenegro-Toro|arXiv (Cornell University)|2019. 05. 13.

Advanced Neural Network Applications참고 문헌 134인용 수 26

한 줄 요약

이 논문은 수중 수조에서 촬영한 2,069장의 포워드 레이크싱 소나(FLS) 이미지로 구성된 맞춤형 데이터셋을 활용하여, 컨볼루션 신경망(CNN)을 사용한 딥러닝 기반의 해양 쓰레기 탐지 방법을 제안한다. 이 방법은 기존 최고 수준의 기술들보다 뛰어난 성능을 보이며, 특히 매칭 및 탐지 제안 작업에서 샘플 복잡도와 물체 크기 민감도 측면에서 뚜렷한 성과를 거두었다.

ABSTRACT

Garbage and waste disposal is one of the biggest challenges currently faced by mankind. Proper waste disposal and recycling is a must in any sustainable community, and in many coastal areas there is significant water pollution in the form of floating or submerged garbage. This is called marine debris. Submerged marine debris threatens marine life, and for shallow coastal areas, it can also threaten fishing vessels [Iñiguez et al. 2016, Renewable and Sustainable Energy Reviews]. Submerged marine debris typically stays in the environment for a long time (20+ years), and consists of materials that can be recycled, such as metals, plastics, glass, etc. Many of these items should not be disposed in water bodies as this has a negative effect in the environment and human health. This thesis performs a comprehensive evaluation on the use of DNNs for the problem of marine debris detection in FLS images, as well as related problems such as image classification, matching, and detection proposals. We do this in a dataset of 2069 FLS images that we captured with an ARIS Explorer 3000 sensor on marine debris objects lying in the floor of a small water tank. The objects we used to produce this dataset contain typical household marine debris and distractor marine objects (tires, hooks, valves, etc), divided in 10 classes plus a background class. Our results show that for the evaluated tasks, DNNs are a superior technique than the corresponding state of the art. There are large gains particularly for the matching and detection proposal tasks. We also study the effect of sample complexity and object size in many tasks, which is valuable information for practitioners. We expect that our results will advance the objective of using Autonomous Underwater Vehicles to automatically survey, detect and collect marine debris from underwater environments.

연구 동기 및 목표

• 해양 쓰레기 탐지를 위한 자동화된 딥 네트워크(DNN) 개발 및 평가.
• 실제 수중 환경에서의 소나 데이터를 활용하여 잠수한 해양 쓰레기(종종 재활용 가능한 재료로 구성됨)를 탐지하는 과제 해결.
• 실제 환경에서의 센서 제약으로 인해 제어된 수조에서 촬영한 2,069장의 FLS 이미지로 구성된 10개의 쓰레기 클래스와 배경을 포함한 종합적인 기준 데이터셋 구축.
• 자율 수중 탐사선(AUV)의 실용적 구현을 위한 샘플 복잡도와 물체 크기의 영향을 탐구.
• DNN 기반 시각 시스템을 탑재한 AUV를 활용한 해양 쓰레기 조사 및 수거의 자동화를 촉진.

제안 방법

• 실제 해저 환경을 시뮬레이션하기 위해 수조에서 ARIS Explorer 3000 센서로 촬영한 맞춤형 FLS 이미지 2,069장의 데이터셋을 활용.
• 이미지 분류, 이미지 매칭, 객체 탐지 제안 생성 등의 다중 작업을 위한 딥 네트워크(DNN), 특히 컨볼루션 신경망(CNN)을 설계 및 훈련.
• 표준 딥러닝 구성 요소 사용: 컨볼루션 레이어는 Conv( f, w×h )로 표현, 최대 풀링 레이어는 MaxPool( w×h )로 표현, 글로벌 평균 풀링은 AvgPool로 표현, 완전 연결 레이어는 FC( n )로 표현.
• 학습률 α, 배치 크기 B, 최대 M 에포크까지의 미니배치 경사하강법(MGD)을 사용해 모델을 훈련하고, 검증 세트(Vl)에서 최적화하고, 별도의 테스트 세트(Ts)에서 평가.
• 구현을 위해 Keras, Theano, scikit-learn를 사용하였으며, 1,000개 이상의 신경망 훈련을 위해 고성능 GPU 컴퓨팅을 활용한 Robotarium 클러스터를 활용.
• 분류, 매칭, 제안 작업 전반에 걸쳐 성능 평가하고, 물체 크기 및 학습 샘플 수에 대한 민감도 분석 수행.

실험 결과

연구 질문

• RQ1 딥 네트워크가 포워드 레이킹 소나(FLS) 이미지 내 해양 쓰레기 탐지에서 최고 수준의 기술을 능가할 수 있는가?
• RQ2 학습 예제 수(샘플 복잡도)가 DNN의 해양 쓰레기 탐지 성능에 어떤 영향을 미치는가?
• RQ3 물체 크기가 소나 이미지에서 탐지 정확도와 제안 품질에 어떤 영향을 미치는가?
• RQ4 DNN이 소나 이미지에서 유사한 쓰레기 물체를 매칭하고 정확한 탐지 제안을 생성하는 데 얼마나 효과적인가?
• RQ5 제어된 수조에서 확보한 데이터셋이 실제 수중 쓰레기 탐지 시나리오로 일반화될 수 있는가?

주요 결과

• DNN은 FLS 이미지에서 해양 쓰레기 탐지에서 기존 최고 수준의 기술보다 뛰어난 성능을 보이며, 특히 탐지 제안 및 이미지 매칭 작업에서 두드러진 성과 기록.
• 제안된 DNN 프레임워크는 탐지 제안 생성에서 큰 성능 향상을 달성하여 자율 수중 탐사선(AUV) 시스템에의 통합 잠재력이 높음.
• 샘플 복잡도가 중요한 요소로 확인되었으며, 특히 작은 쓰레기 물체의 경우 학습 데이터 크기가 증가할수록 성능 향상이 뚜렷함.
• 물체 크기가 탐지 정확도에 명백한 영향을 미치며, 더 작은 쓰레기 물체는 탐지가 더 어려움을 시사하여 크기 인식 모델 설계의 필요성 강조.
• 분류, 매칭, 제안 작업 전반에 걸친 종합적 평가를 통해 DNN의 강건성과 다용도성을 입증함.
• 10개의 쓰레기 클래스와 배경을 포함한 맞춤형 FLS 이미지 2,069장의 데이터셋은 향후 소나 기반 해양 쓰레기 탐지 연구에 유의미한 기준 자료로 기여함.