[논문 리뷰] A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network

Xiu-Yuan Li, Fengchao Li외 2명|arXiv (Cornell University)|2022. 03. 09.

Underwater Vehicles and Communication Systems인용 수 8

한 줄 요약

이 논문은 공동 자기지도 학습 소거 네트워크와 개선된 공간 변환 네트워크를 사용하여 고정밀 수중 객체 검출(UOD) 방법을 제안한다. 자기지도 학습 소거를 통해 특징 품질을 향상시키고, 시점 기반 공간 변환을 통해 다중 시점 특징을 풍부하게 함으로써, URPC2017에서 47.9 mAP, URPC2018에서 70.3 mAP를 달성하여 최신 기술을 초월한다.

ABSTRACT

Deep learning-based underwater object detection (UOD) remains a major challenge due to the degraded visibility and difficulty to obtain sufficient underwater object images captured from various perspectives for training. To address these issues, this paper presents a high-precision UOD based on joint self-supervised deblurring and improved spatial transformer network. A self-supervised deblurring subnetwork is introduced into the designed multi-task learning aided object detection architecture to force the shared feature extraction module to output clean features for detection subnetwork. Aiming at alleviating the limitation of insufficient photos from different perspectives, an improved spatial transformer network is designed based on perspective transformation, adaptively enriching image features within the network. The experimental results show that the proposed UOD approach achieved 47.9 mAP in URPC2017 and 70.3 mAP in URPC2018, outperforming many state-of-the-art UOD methods and indicating the designed method is more suitable for UOD.

연구 동기 및 목표

• 수중 객체 검출에서 열악한 수중 영상 품질과 제한된 다중 시점 학습 데이터 문제를 해결하기 위해.
• 자기지도 학습 소거를 통해 특징 품질을 향상시켜 검출 정확도를 향상시키기 위해.
• 시점 기반 공간 변환 네트워크를 활용해 기하학적 변환을 통해 특징 표현을 적응적으로 풍부화시켜 다양한 학습 시점의 부족을 보완하기 위해.
• 소거와 객체 검출을 동시에 최적화하는 다중 작업 학습 아키텍처를 개발하기 위해.

제안 방법

• 쌍체의 청소년-흐림 이미지가 필요 없이, 뿌연 수중 영상에서 청소년 특징을 생성하기 위해 검출 프레임워크에 자기지도 학습 소거 하위 네트워크를 통합한다.
• 공유된 특징 추출 모듈은 소거와 객체 검출을 동시에 최적화하여 강력하고 청소년 특징을 학습하도록 한다.
• 기하학적 변환을 사용하여 적응적으로 특징 표현을 증강하는 시점 기반 변환 기반 개선된 공간 변환 네트워크를 설계한다.
• 검출 헤드와 소거 헤드가 동일한 백본을 공유하면서 종단 간 학습되는 다중 작업 학습 기법을 적용한다.
• 공간 변환 네트워크는 미분 가능 공간 샘플링을 사용하여 최적의 특징 변환을 학습하여 시점 변화에 대한 불변성을 향상시킨다.
• 전체 아키텍처는 검출 및 소거 목표를 균형 잡는 복합 손실 함수를 사용하여 종단 간으로 학습된다.

실험 결과

연구 질문

• RQ1 쌍체의 청소년-흐림 이미지가 필요 없이 자기지도 학습 소거가 수중 객체 검출에서 특징 품질을 향상시킬 수 있는가?
• RQ2 제한된 다중 시점 학습 데이터 조건에서 시점 기반 공간 변환 네트워크가 특징의 다양성과 강건성을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 소거와 검출을 공동 최적화함으로써 수중 객체 검출의 전체 mAP가 얼마나 향상되는가?
• RQ4 제안된 방법이 표준 수중 검출 벤치마크에서 기존 최신 기술 대비 더 잘 일반화되는가?

주요 결과

• 제안된 방법은 도전적인 수중 검출 데이터셋인 URPC2017 벤치마크에서 47.9 mAP를 달성하여 뛰어난 성능을 보였다.
• URPC2018 데이터셋에서는 70.3 mAP를 기록하여 다수의 최신 기술 수준 수준의 수중 객체 검출 방법을 뛰어넘었다.
• 자기지도 학습 소거 구성 요소는 실제 청소년 이미지가 필요 없이도 이미지 특징을 효과적으로 복원하여 쌍체 데이터 의존도를 감소시켰다.
• 개선된 공간 변환 네트워크는 적응적으로 시점 변화를 모델링하여 특징 표현을 향상시켰고, 검출의 강건성을 향상시켰다.
• 다중 작업 학습 프레임워크는 소거와 검출 목표를 성공적으로 균형 잡아, 향상된 특징 품질과 검출 정확도를 이끌어냈다.
• 제거 분석을 통해 소거 및 공간 변환 네트워크 구성 요소가 최종 성능 향상에 기여하는 데 중요한 역할을 했다.