[논문 리뷰] Overcoming Annotation Bottlenecks in Underwater Fish Segmentation: A Robust Self-Supervised Learning Approach

Alzayat Saleh, Marcus Sheaves외 2명|arXiv (Cornell University)|2022. 06. 11.

Water Quality Monitoring Technologies인용 수 6

한 줄 요약

이 논문은 인간의 마스크 레이블이 전혀 필요 없이 고정밀도 수중 물고기 세분화를 위한 자기지도 학습, 엔드 투 엔드 Transformer 기반 방법을 제안한다. 비디오 수준의 시공간 일관성과 쌍이 없는 시각 간의 대비 학습을 활용하여, 사전 훈련 없이 단일 GPU에서 훈련을 시작해도, 훈련된 데이터셋에 대해 최신 기술 수준의 성능을 달성하며, CNN 및 Transformer 기반 자기지도 학습 방법을 초월하고 완전히 지도 학습 성능에 가까이 다가선다.

ABSTRACT

Accurate fish segmentation in underwater videos is challenging due to low visibility, variable lighting, and dynamic backgrounds, making fully-supervised methods that require manual annotation impractical for many applications. This paper introduces a novel self-supervised learning approach for fish segmentation using Deep Learning. Our model, trained without manual annotation, learns robust and generalizable representations by aligning features across augmented views and enforcing spatial-temporal consistency. We demonstrate its effectiveness on three challenging underwater video datasets: DeepFish, Seagrass, and YouTube-VOS, surpassing existing self-supervised methods and achieving segmentation accuracy comparable to fully-supervised methods without the need for costly annotations. Trained on DeepFish, our model exhibits strong generalization, achieving high segmentation accuracy on the unseen Seagrass and YouTube-VOS datasets. Furthermore, our model is computationally efficient due to its parallel processing and efficient anchor sampling technique, making it suitable for real-time applications and potential deployment on edge devices. We present quantitative results using Jaccard Index and Dice coefficient, as well as qualitative comparisons, showcasing the accuracy, robustness, and efficiency of our approach for advancing underwater video analysis

연구 동기 및 목표

• 비용이 많이 드는 픽셀 단위 마스크가 필요 없도록, 수중 물고기 세분화의 레이블링 병목 현상을 해결하기 위해.
• 사전 훈련된 모델에 의존하지 않고도 다양한 수중 환경과 물고기 종에 걸쳐 일반화 능력을 향상시키기 위해.
• 사전 훈련 없이도 비정형 비디오 시퀀스에서 밀도 있는 표현을 학습할 수 있는 계산 효율성이 높고 엔드 투 엔드 자기지도 학습 방법을 개발하기 위해.
• 비전 트랜스포머를 사용한 자기지도 학습이 도전적인 수중 시각 조건에서 거의 지도 학습 성능에 도달할 수 있음을 입증하기 위해.

제안 방법

• 모델은 동일한 비디오 클립의 쌍이 아닌 시각을 공유 임베딩으로 인코딩하기 위해 단일 CoaT 기반 비전 트랜스포머 백본을 사용한다.
• 동일한 비디오 클립의 두 개의 증강된 시각이 동일한 가중치를 공유하는 동일한 브랜치를 통해 생성되고 인코딩되어 상호 시각 간 일관성을 강제한다.
• 두 시각의 투영 간 대비 손실이 적용되어 대비 자기지도 학습을 통해 불변 표현을 학습한다.
• 모멘텀 평균화 네트워크에서 유도된 가짜 레이블을 사용하여 자기 훈련 손실을 도입함으로써 예측을 정교화하고 특징 정렬을 향상시킨다.
• 사전 훈련이나 인간의 레이블이 없는 세분화 마스크 없이도 RGB 비디오 프레임만을 사용하여 완전히 처음부터 훈련된다.
• 밀도 있는 시공간 임베딩이 학습되어 픽셀 단위의 세분화를 가능하게 하며, 입력 비디오에 대해 프레임 단위로 추론이 수행된다.

실험 결과

연구 질문

• RQ1 인간의 마스크 레이블이 전혀 없는 자기지도 학습 비전 트랜스포머 모델이 고정밀도 수중 물고기 세분화를 달성할 수 있는가?
• RQ2 기존 자기지도 학습 및 지도 학습 기반 모델과 비교해 본다면, 제안된 방법은 새로운 수중 비디오 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ3 ImageNet 사전 훈련에 의존하지 않는, 정형화되지 않은 데이터에서 처음부터 훈련하는 것이 얼마나 더 뛰어난 성능을 내는가?
• RQ4 실제 수중 환경에서 물고기의 가림, 외형 변화, 배경 혼잡함에 대해 모델이 얼마나 강건하게 유지되는가?
• RQ5 기존 자기지도 학습 및 지도 학습 접근 방식과 비교해 볼 때, 모델의 계산 효율성은 어떠한가?

주요 결과

• 제안된 방법은 Seagrass 데이터셋에서 평균 J&F 점수 50.0, YouTube-VOS 데이터셋에서 63.3을 기록하여 기존 자기지도 학습 모델을 크게 앞서 간다.
• 두 개의 새로운 데이터셋 모두에서 이전의 CNN 기반 및 트랜스포머 기반 자기지도 학습 방법을 초월하며, 강력한 제로샷 일반화 능력을 보여준다.
• 완전히 지도 학습 설정에서 Seagrass에서 평균 J&F 64.7, YouTube-VOS에서 79.3을 기록하여 완전히 지도 학습 방법에 매우 가까운 성능을 달성한다.
• 모델는 계산적으로 효율적이며, 사전 훈련 없이도 단일 11GB GPU에서 훈련되며 대규모 데이터도 필요로 하지 않는다.
• 다양한 물고기 종과 수중 조건 간에 잘 일반화되며, 가림과 배경 혼잡함에 대해 강건함을 보여준다.
• 사전 훈련된 가중치 없이도 고정밀도 세분화를 달성하여, 트랜스포머를 사용한 자기지도 학습이 수중 시각 작업에서 처음부터 효과적으로 작동할 수 있음을 입증한다.