[논문 리뷰] DeepPlastic: An Open Source Image Dataset for Epipelagic Marine Plastic Detection

Gautam Tata|arXiv (Cornell University)|2021. 04. 16.

Microplastics and Plastic Pollution인용 수 4

한 줄 요약

이 논문은 실시간으로 수중 영상에서 해양 표류성 플라스틱 쓰레기를 탐지하기 위한 오픈소스 데이터셋과 YOLOv5-S 기반 딥러닝 모델인 DeepPlastic을 소개한다. 해양 기반 플라스틱 이미지 전용으로 훈련된 모델은 85%의 평균 평균 정밀도(mAP)와 0.89의 F1 스코어를 기록하며, 이미지당 2ms의 추론 속도를 확보하여 AUV나 부표를 통해 정확하고 저비용의 자율 모니터링을 가능하게 한다.

ABSTRACT

Deep Plastic Enhanced Object Detection for Epipelagic Plastic. This repository contains source code for the method developed in DeepPlastic: Identifying Marine Plastic In The Epipelagic Zone using Computer Vision and Deep Learning Information: Paper: [Coming Soon] YouTube video of Results: https://youtu.be/8zBdFxaK4Os Object Detection Model Four models: YOLOv4, YOLOv5, MobileSSD, Faster RCNN Inception V2 Small efficient and high precision models can be used for real-time object detection. Model architecture and implementation details: https://arxiv.org/ Weights for YOLOv4 and YOLOv5 are provided in the model/ YOLOv4: best. weights; use best.weights YOLOv5: best.pt; use best.pt Google Colab Links Note: Click on File and Save Copy in Drive. If you try to edit my file it'll ask you for permission and send me an email. Please make your own copy. YOLOv5: https://colab.research.google.com/drive/1_qzbpBWkNfxQ0ny-DvsKicCeM0aFU4eW?usp=sharing DeepTrash DataSet 1900 training images, 637 test images, 637 validation images (60, 20, 20 split) Field images taken from Lake Tahoe, San Francisco Bay and Bodega Bay in CA. Deep Sea images are from JAMSTEK JEDI dataset: http://www.godac.jamstec.go.jp/

연구 동기 및 목표

• 수동 샘플링과 표면 전용 모니터링의 한계를 극복하기 위해, 해양 표류성 플라스틱 쓰레기를 위한 강력하고 실시간 객체 탐지 시스템을 개발하기 위해.
• 생물막에 의한 플라스틱의 침강으로 인한 떠 있는 플라스틱의 과소 평가 문제와, 만타 트롤이 전체 수중층을 샘플링하지 못하는 문제를 해결하기 위해.
• 해양 기반 플라스틱 이미지 전용으로 훈련된 일반화된 도메인 특화 딥러닝 모델을 개발하여 정확도 향상과 임의의 경고 감소를 도모하기 위해.
• 자율 수중선박(AUV)과 정지형 모니터링 플랫폼을 활용한 확장 가능한 저비용 자동 플라스틱 탐지 배포를 가능하게 하기 위해.
• 재현 가능성을 지원하고 해양 플라스틱 모니터링 분야의 향후 연구를 지원하기 위해 오픈소스 데이터셋과 모델을 제공하기 위해.

제안 방법

• 다양한 해양층에서 촬영한 해양 기반 플라스틱 이미지로 구성된 정제된 데이터셋을 기반으로, 최신 객체 탐지 모델 네 종류(Faster R-CNN, SSD, YOLOv4-Tiny, YOLOv5-S)를 훈련시켰다.
• 수중 환경의 다양한 지역에서 수집된 이미지로 구성된 고유한 데이터셋인 DeepPlastic을 활용하였으며, 바운딩 박스를 사용해 플라스틱 쓰레기로 레이블링하였다.
• 모델의 일반화 능력 향상과 환경 변화에 대한 강건성 향상을 위해 전이 학습과 데이터 증강 기법을 적용하였다.
• 모델 양자화와 하드웨어 가속을 통해 추론 속도를 최적화하여 표준 GPU에서 이미지당 2ms의 속도를 달성하였다.
• 보류된 테스트 세트에서 표준 지표인 평균 평균 정밀도(mAP)와 F1 스코어를 사용해 모델 성능을 검증하였다.
• 성능이 가장 뛰어난 모델(YOLOv5-S)을 AUV와 원격 감지 플랫폼과 호환되는 엔드 투 엔드 시스템으로 통합하여 실시간 배포를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 해양 기반 플라스틱 이미지 전용으로 훈련된 딥러닝 모델이 해양 표류성 플라스틱 탐지에 대해 높은 정확도와 실시간 추론을 달성할 수 있는가?
• RQ2 실제 해양 환경 조건에서 YOLOv5-S의 성능이 다른 최신 모델들(Faster R-CNN, YOLOv4-Tiny 등)과 비교해 어떻게 되는가?
• RQ3 모델이 해양 환경에서 흔히 발견되는 자연물(예: 泡, 해조류, 물개비 등)과 플라스틱 쓰레기를 얼마나 잘 구분할 수 있는가?
• RQ4 재훈련 없이도 다양한 수중층과 조명 조건에서도 높은 성능을 유지할 수 있는가?
• RQ5 데이터셋의 품질과 도메인 특화성은 해양 플라스틱 탐지에서 모델의 일반화 능력과 임의의 경고 비율에 어떤 영향을 미치는가?

주요 결과

• YOLOv5-S 모델은 테스트 세트에서 평균 평균 정밀도(mAP) 85%와 F1 스코어 0.89의 최고 성능을 기록하였다.
• 모델은 이미지당 2ms의 속도로 이미지를 처리하여 AUV 및 이동식 플랫폼에 배포 가능한 거의 실시간 추론을 가능하게 하였다.
• 모델은 수중 투명도, 조명 조건, 배경 혼잡도가 다양한 다양한 해양 환경에서도 강력한 일반화 능력을 보였다.
• DeepPlastic이라는 도메인 특화 데이터셋을 사용함으로써, 육상 기반 플라스틱 데이터셋으로 사전 훈련된 모델보다 임의의 경고가 크게 감소하였다.
• 시스템은 표면 샘플링 방법(예: 만타 트롤)의 한계를 극복하여 전체 표류성 수중층에서 플라스틱 쓰레기를 성공적으로 탐지하였다.
• DeepPlastic 데이터셋과 훈련된 모델의 오픈소스 공개는 재현 가능한 연구와 해양 플라스틱 모니터링 분야의 확장 가능한 배포를 가능하게 하였다.