[논문 리뷰] Intelligent Debris Mass Estimation Model for Autonomous Underwater Vehicle

Mohana Sri S, S Swethaa외 2명|arXiv (Cornell University)|2023. 09. 19.

Water Quality Monitoring TechnologiesEnvironmental Science인용 수 3

한 줄 요약

이 논문은 YOLOv7 기반의 인스턴스 세그멘테이션을 사용하여 해양 쓰레기의 위치를 탐지하고 분할하여 자율 잠수선(AUV)의 쓰레기 질량을 지능적으로 추정하는 모델을 제안한다. 이중 마스크 처리, 형태학적 후처리 및 몬테카를로 면적 추정 기법을 적용함으로써 총 쓰레기 면적과 질량 추정이 정확해지며, AUV의 환경 정화 임무 수행 능력이 향상된다.

ABSTRACT

Marine debris poses a significant threat to the survival of marine wildlife, often leading to entanglement and starvation, ultimately resulting in death. Therefore, removing debris from the ocean is crucial to restore the natural balance and allow marine life to thrive. Instance segmentation is an advanced form of object detection that identifies objects and precisely locates and separates them, making it an essential tool for autonomous underwater vehicles (AUVs) to navigate and interact with their underwater environment effectively. AUVs use image segmentation to analyze images captured by their cameras to navigate underwater environments. In this paper, we use instance segmentation to calculate the area of individual objects within an image, we use YOLOV7 in Roboflow to generate a set of bounding boxes for each object in the image with a class label and a confidence score for every detection. A segmentation mask is then created for each object by applying a binary mask to the object's bounding box. The masks are generated by applying a binary threshold to the output of a convolutional neural network trained to segment objects from the background. Finally, refining the segmentation mask for each object is done by applying post-processing techniques such as morphological operations and contour detection, to improve the accuracy and quality of the mask. The process of estimating the area of instance segmentation involves calculating the area of each segmented instance separately and then summing up the areas of all instances to obtain the total area. The calculation is carried out using standard formulas based on the shape of the object, such as rectangles and circles. In cases where the object is complex, the Monte Carlo method is used to estimate the area. This method provides a higher degree of accuracy than traditional methods, especially when using a large number of samples.

연구 동기 및 목표

• 자율 잠수선(AUV)이 해양 환경에서 쓰레기 질량을 추정할 수 있도록 지능형 모델을 개발하는 것.
• 저조도와 혼잡한 환경에서 정확한 쓰레기 탐지 및 세그멘테이션에 도전하는 것.
• 정밀한 쓰레기 부피 및 질량 추정을 통해 AUV의 항법 및 개입 능력을 향상시키는 것.
• 딥 러닝 및 이미지 처리 기법을 활용하여 수중 운영에서 실시간 쓰레기 평가를 가능하게 하는 것.
• 해양 보존을 지원하기 위해 해양 정화 임무에서 쓰레기 질량 추정을 위한 확장 가능하고 자동화된 솔루션을 제공하는 것.

제안 방법

• 해수면 이미지에서 해양 쓰레기의 클래스 레이블과 신뢰도 점수를 포함한 객체 탐지 경계 상자 생성을 위해 Roboflow 내 YOLOv7를 활용한다.
• 모델 출력에 이중 임계값 처리를 수행하여 컨볼루션 신경망을 통해 세그멘테이션 마스크를 생성한다.
• 형태학적 연산과 윤곽선 탐지를 통해 세그멘테이션 마스크를 정제하여 정확도를 향상시키고 노이즈를 감소시킨다.
• 간단한 형태(예: 직사각형, 원)에 대해 기하학적 공식을 사용하여 각 세그멘테이션 쓰레기 인스턴스의 면적을 개별적으로 계산한다.
• 복잡한 형태의 쓰레기 면적 추정을 위해 몬테카를로 방법을 활용하며, 더 높은 표본 수로 정확도를 향상시킨다.
• 개별 인스턴스 면적을 집계하여 총 쓰레기 면적을 계산하고, 이는 가정된 밀도를 기반으로 질량 추정에 사용된다.

실험 결과

연구 질문

• RQ1 YOLOv7를 활용한 인스턴스 세그멘테이션은 실제 수중 이미지에서 해양 쓰레기를 얼마나 정확하게 탐지하고 세그멘테이션할 수 있는가?
• RQ2 형태학적 연산 및 윤곽선 탐지와 같은 후처리 기법이 세그멘테이션 마스크 품질을 얼마나 향상시키는가?
• RQ3 불규칙한 형태의 쓰레기 면적 추정에서 몬테카를로 방법이 기하학적 공식보다 어떻게 더 정확한가?
• RQ4 통합된 모델은 AUV 기반 해양 정화 임무에서 이미지 데이터로부터 총 쓰레기 질량을 신뢰성 있게 추정할 수 있는가?
• RQ5 이미지 품질과 환경 조건이 쓰레기 질량 추정 파이프라인 성능에 어떤 영향을 미치는가?

주요 결과

• YOLOv7와 인스턴스 세그멘테이션의 통합은 수중 이미지에서 해양 쓰레기의 고정밀 탐지 및 정위치를 가능하게 한다.
• 형태학적 연산과 같은 후처리 기법은 노이즈 감소와 세그멘테이션 영역의 간극 메우기로 인해 마스크 품질을 크게 향상시킨다.
• 몬테카를로 방법은 특히 높은 표본 수에서 복잡한 형태의 쓰레기 면적 추정에 기하학적 근사보다 더 정확한 결과를 제공한다.
• 총 쓰레기 면적은 개별 인스턴스 면적의 합산을 통해 계산되었으며, 질량 추정의 신뢰할 수 있는 기초가 되었다.
• 제안된 모델은 AUV 응용 분야에서 실시간 쓰레기 질량 추정이 가능함을 입증하였으며, 자율적 환경 모니터링 및 정화를 지원한다.
• 이 방법은 다양한 형태의 쓰레기와 수중 시각 조건을 효과적으로 처리하여 AUV의 운영 자율성을 향상시킨다.