[논문 리뷰] Underwater Object Detection in the Era of Artificial Intelligence: Current, Challenge, and Future

Long Chen, Yuzhi Huang외 6명|arXiv (Cornell University)|2024. 10. 08.

Water Quality Monitoring Technologies인용 수 4

한 줄 요약

이 종합 검토는 인공지능 기반 수중 객체 검출(UOD)에 대한 포괄적인 분석을 제공하며, 학습 전략, 데이터셋, 특징, 학습 단계별로 딥러닝 및 전통적 기계학습 방법을 분류한다. 이미지 열화, 소형 객체, 노이즈가 많은 레이블, 클래스 불균형과 같은 주요 과제를 규명하고, 표준화된 벤치마크와 두 가지 신규 분석 도구인 Diagnosis 및 TIDE를 사용하여 최신 기술 검출기의 성능을 평가하여未래 연구에 실질적인 통찰을 제공한다.

ABSTRACT

Underwater object detection (UOD), aiming to identify and localise the objects in underwater images or videos, presents significant challenges due to the optical distortion, water turbidity, and changing illumination in underwater scenes. In recent years, artificial intelligence (AI) based methods, especially deep learning methods, have shown promising performance in UOD. To further facilitate future advancements, we comprehensively study AI-based UOD. In this survey, we first categorise existing algorithms into traditional machine learning-based methods and deep learning-based methods, and summarise them by considering learning strategy, experimental dataset, utilised features or frameworks, and learning stage. Next, we discuss the potential challenges and suggest possible solutions and new directions. We also perform both quantitative and qualitative evaluations of mainstream algorithms across multiple benchmark datasets by considering the diverse and biased experimental setups. Finally, we introduce two off-the-shelf detection analysis tools, Diagnosis and TIDE, which well-examine the effects of object characteristics and various types of errors on detectors. These tools help identify the strengths and weaknesses of detectors, providing insigts for further improvement. The source codes, trained models, utilised datasets, detection results, and detection analysis tools are public available at \url{https://github.com/LongChenCV/UODReview}, and will be regularly updated.

연구 동기 및 목표

• 기존의 AI 기반 수중 객체 검출 방법, 즉 전통적 기계학습 및 딥러닝 접근법을 체계적으로 분류하고 분석하기 위해.
• 이미지 열화, 소형 객체 검출, 노이즈가 많은 레이블, 클래스 불균형과 같은 UOD의 주요 과제를 규명하고 논의하기 위해.
• 다양한 기준 데이터셋을 기반으로 주류 검출 프레임워크의 정량적 및 정성적 분석을 통해 평가하기 위해.
• 객체 특성과 오류 유형에 기반하여 검출기의 약점을 진단하는 데 유용한 두 가지 검출 분석 도구인 Diagnosis 및 TIDE를 도입하고 활용하기 위해.
• 소스 코드, 모델, 데이터셋, 결과를 포함하는 공개적이고 정기적으로 업데이트되는 레포지터리를 제공하여 새로운 UOD 알고리즘에 대한 공정하고 재현 가능한 벤치마크를 가능하게 하기 위해.

제안 방법

• 학습 전략, 적용 가능한 데이터셋, 사용된 특징 또는 프레임워크, 학습 단계별로 기존 UOD 방법을 분류하기 위해.
• 표준화된 메트릭과 비교 분석을 사용하여 여러 기준 데이터셋(RUOD, DUO 등)에서 최신 기술 검출기를 평가하기 위해.
• Diagnosis 도구를 적용하여 객체 크기와 종횡비가 검출 성능에 미치는 영향을 분석하기 위해.
• TIDE 프레임워크를 사용하여 배경 오류, 위치 정확도 오류, 실제 객체 누락과 같은 다양한 오류 유형이 검출기 성능에 미치는 영향을 평가하기 위해.
• 일반 객체 검출(GOD)의 해결책과 UOD의 해결책을 비교하여 연구 격차를 규명하고 향후 개선 방향을 제안하기 위해.
• 공정하고 일관된 평가를 위해 고품질의 대규모 기준 데이터셋을 권장하기 위해.

Figure 1: Challenges such as (a) degraded image quality and small objects, (b) noisy labels, and (c) class imbalance in underwater object detection datasets significantly impair the performance of deep detection models. For instance, (c) highlights that the deep detector RepPoints [ 3 ] faces severe

실험 결과

연구 질문

• RQ1 다양한 학습 전략, 네트워크 아키텍처, 손실 함수는 수중 객체 검출기 성능에 어떤 영향을 미치는가?
• RQ2 수중 객체 검출의 주요 과제는 무엇이며, 일반 객체 검출과는 어떻게 다를까?
• RQ3 객체 크기, 종횡비, 이미지 품질 열화가 다양한 모델에서 검출 정확도에 어떤 영향을 미치는가?
• RQ4 배경 오류, 위치 정확도 오류, 실제 객체 누락과 같은 다양한 오류 유형은 검출기와 데이터셋 간에 어떻게 다를까?
• RQ5 Diagnosis 및 TIDE와 같은 기존 분석 도구는 모델의 약점을 효과적으로 진단하고 수중 객체 검출의 향후 개선을 이끌 수 있는가?

주요 결과

• 대부분의 검출기에서 초소형(XS) 및 초광역(XW) 객체에 대해 성능이 크게 떨어지며, 크기나 종횡비에서 10번째 백분율 이하인 객체에서는 검출 정확도가 크게 하락한다.
• RUOD 데이터셋에서 FoveaBox, Cascade R-CNN, RepPoints, ATSS 등의 검출기는 심한 색상 왜곡과 낮은 대비로 인해 배경 오류와 위치 정확도 오류 비율이 높다.
• DUO 데이터셋에서는 블러링으로 인해 배경 오류가 더 두드러지며, 해마리가 모래와 비슷하고, 바지락은 돌과 비슷하게 보여 오분류가 발생한다.
• RetinaNet은 포칼 손실이 어려운 분류 예제에 과도하게 집중함으로써 분류 오류가 더 많아지며, 이는 더 쉽게 분류 가능한 예시까지 잘못 분류할 수 있다.
• GridRCNN와 DetectoRS는 격자 기반의 위치 정확도 및 복잡한 특징 추출에 의존함으로써 소형 또는 흐린 객체에서 실제 객체를 놓치는 경우가 많다.
• Diagnosis 및 TIDE 도구의 사용은 검출기가 일반적으로 중간 크기의 정사각형 형태 객체(1:1 종횡비)에서 가장 잘 작동하며, 정사각형 커널과 앵커 박스의 한계로 인해 극단적인 종횡비에서는 성능이 크게 떨어진다는 것을 드러냈다.

Figure 2: The development of (a) AI in underwater object detection and (b) generic artificial intelligence.