[논문 리뷰] An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset

Zhiwei Ma, Haojie Li외 6명|arXiv (Cornell University)|2021. 08. 26.

Advanced Neural Network Applications참고 문헌 10인용 수 6

한 줄 요약

이 논문은 가짜 레이블 생성기와 경계 검출 서브넷을 통해 경계 정확도를 햖스한 반감독 학습 기반 수중 세분화 네트워크인 US-Net을 제안한다. 새로 도입된 DUT-USEG 데이터셋(6,617장의 실제 수중 이미지에 세분화 및 인스턴스 세분화 레이블 포함)을 사용하여, 세 종류의 주요 종류(해마, 등드름, 성냥갑)에서 mIoU를 6.7% 향상시키며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the development of underwater object grabbing technology, underwater object recognition and segmentation of high accuracy has become a challenge. The existing underwater object detection technology can only give the general position of an object, unable to give more detailed information such as the outline of the object, which seriously affects the grabbing efficiency. To address this problem, we label and establish the first underwater semantic segmentation dataset of real scene(DUT-USEG:DUT Underwater Segmentation Dataset). The DUT- USEG dataset includes 6617 images, 1487 of which have semantic segmentation and instance segmentation annotations, and the remaining 5130 images have object detection box annotations. Based on this dataset, we propose a semi-supervised underwater semantic segmentation network focusing on the boundaries(US-Net: Underwater Segmentation Network). By designing a pseudo label generator and a boundary detection subnetwork, this network realizes the fine learning of boundaries between underwater objects and background, and improves the segmentation effect of boundary areas. Experiments show that the proposed method improves by 6.7% in three categories of holothurian, echinus, starfish in DUT-USEG dataset, and achieves state-of-the-art results. The DUT- USEG dataset will be released at https://github.com/baxiyi/DUT-USEG.

연구 동기 및 목표

• 수중 환경에서 높은 정확도의 세분화가 부족한 문제를 해결한다. 특히 물체 경계의 명확한 구분을 위해.
• 기존 수중 물체 검출 방법이 세부적인 물체 윤곽 없이 굵은 위치 정보만 제공하는 한계를 극복한다.
• 저조도 수중 환경에서 성능을 향상시키기 위해 반감독 딥 러닝 프레임워크를 개발한다.
• 미래의 수중 영상 이해 연구를 지원하기 위해 대규모 실세계 수중 데이터셋을 구축한다.
• 수중 물체와 배경 사이의 미세한 경계 세분화를 향상시켜 로봇 물체 집게 작업에 필수적인 정확도를 높인다.

제안 방법

• 수중 영상에 특화된 반감독 세분화 네트워크인 US-Net을 제안하며, 경계 학습 능력을 향상시킨다.
• 미분류된 데이터를 활용해 모델 일반화 능력을 햖스하고 완전한 레이블링 데이터 의존도를 줄이기 위해 가짜 레이블 생성기를 통합한다.
• 복잡한 수중 환경에서 물체 경계를 명시적으로 학습하고 정밀화하기 위해 전용 경계 검출 서브넷을 통합한다.
• DUT-USEG 데이터셋에서 제공하는 완전 레이블링 이미지(1,487장)와 약한 레이블링 이미지(경계 상자 포함 5,130장)를 사용해 네트워크를 종합적으로 훈련한다.
• 세분화 및 경계 예측을 동시에 최적화하기 위해 다중 작업 학습을 적용하여 정위치 정확도를 향상시킨다.
• 색상 왜곡 및 낮은 대비도 포함된 수중 영상 열악한 환경을 다루기 위해 데이터 증강 및 도메인 적응 기법을 적용한다.

실험 결과

연구 질문

• RQ1 제한된 완전 레이블링 데이터를 가진 수중 환경에서 반감독 딥 러닝 접근 방식이 세분화 정확도를 크게 향상시킬 수 있는가?
• RQ2 명시적인 경계 감시가 수중 영상에서 물체 세분화 정밀도에 얼마나 기여하는가?
• RQ3 제안된 가짜 레이블 생성기가 약한 레이블링 데이터(경계 상자)를 활용해 세분화 모델 훈련에 얼마나 효과적으로 기여하는가?
• RQ4 경계 검출 서브넷의 통합이 도전적인 수중 종에서 mIoU에 측정 가능한 향상 효과를 가져오는가?
• RQ5 새로가서 촬영한 실수중 환경 데이터셋이 세분화 작업에서 최신 기술 수준의 성능을 지원할 수 있는가?

주요 결과

• 제안된 US-Net 방법은 해마, 등드름, 성냥갑 세 종류의 대상 클래스에서 DUT-USEG 데이터셋에서 평균 교차율(mIoU)을 6.7%p 향상시켰다.
• 모델은 DUT-USEG 벤치마크에서 기존 방법보다 세분화 및 인스턴스 세분화 작업 모두에서 최신 기술 수준의 성능을 보였다.
• 경계 검출 서브넷의 통합으로 인해 일반적으로 흐릿하거나 잘못 분류되는 물체 가장자리의 세분화 정확도가 크게 향상되었다.
• 가짜 레이블 생성기가 5,130장의 경계 상자 레이블링 이미지를 효과적으로 활용하여 성능을 향상시켰으며, 고비용의 픽셀 수준 레이블링 의존도를 줄였다.
• 다양한 종류와 환경 조건을 포함한 6,617장의 실제 수중 영상가 포함된 DUT-USEG 데이터셋은 향후 수중 비전 연구를 위한 견고한 기반을 제공한다.
• 이 방법은 다양한 수중 종류와 조명 조건에서도 잘 일반화되어 있어, 시각적 열악한 환경에 대한 강력한 내구성을 보였다.