[논문 리뷰] How to Track and Segment Fish without Human Annotations: A Self-Supervised Deep Learning Approach

Alzayat Saleh, Marcus Sheaves외 2명|arXiv (Cornell University)|2022. 08. 23.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 논문은 인간의 레이블 없이 해수면 영상에서 비지도 학습을 통해 어류 추적 및 분할을 위한 자기지도 학습 기반 딥러닝 프레임워크를 제안한다. 광학 흐름과 배경 차분을 조합하여 의사 레이블을 생성하고, 이후 자기지도 보정 및 분할 네트워크 학습을 거쳐 공개 데이터셋에서 높은 정확도를 달성하며, 다양한 영상 조건에서도 낮은 감독 수준으로 뛰어난 강건성을 입증한다.

ABSTRACT

Tracking fish movements and sizes of fish is crucial to understanding their ecology and behaviour. Knowing where fish migrate, how they interact with their environment, and how their size affects their behaviour can help ecologists develop more effective conservation and management strategies to protect fish populations and their habitats. Deep learning is a promising tool to analyze fish ecology from underwater videos. However, training deep neural networks (DNNs) for fish tracking and segmentation requires high-quality labels, which are expensive to obtain. We propose an alternative unsupervised approach that relies on spatial and temporal variations in video data to generate noisy pseudo-ground-truth labels. We train a multitask DNN using these pseudo-labels. Our framework consists of three stages: (1) an optical flow model generates the pseudo labels using spatial and temporal consistency between frames, (2) a self-supervised model refines the pseudo-labels incrementally, and (3) a segmentation network uses the refined labels for training. Consequently, we perform extensive experiments to validate our method on three public underwater video datasets and demonstrate its effectiveness for video annotation and segmentation. We also evaluate its robustness to different imaging conditions and discuss its limitations.

연구 동기 및 목표

• 해수면 영상에서 어류 추적 및 분할을 위한 픽셀 수준의 레이블링에 드는 높은 비용과 노동력을 해결하기 위해.
• 영상 데이터의 시간적 및 공간적 일관성을 활용하여 신뢰할 수 있는 의사 레이블을 생성하는 완전히 비지도 방법을 개발하기 위해.
• 자기지도 보정을 통해 의사 레이블의 품질을 향상시켜 지도 학습 없이도 효과적인 분할 네트워크 학습이 가능하도록 하기 위해.
• 다양한 해수면 영상 데이터셋에서 다양한 영상 조건 하에서 방법의 타당성을 검증하기 위해.
• 지금까지 레이블이 없는 영상 데이터만으로도 정확한 분할 모델을 학습시킬 수 있음을 입증하기 위해.

제안 방법

• 영상 간 연속 프레임 간 운동과 공간 일관성을 기반으로 광학 흐름과 배경 차분을 사용해 초도 의사 레이블을 생성한다.
• 자기지도 보정 네트워크는 시간적 일관성과 구조적 일관성을 활용하여 의사 레이블의 품질을 반복적으로 향상시킨다.
• 개선된 의사 레이블을 사용해 지도 학습 방식으로 분할 네트워크를 학습하며, 학습 또는 추론 과정에서 인간의 레이블 데이터가 필요로 하지 않는다.
• 이 프레임워크는 레이블이 없는 영상 시퀀스에서 엔드 투 엔드로 학습되며, 내재된 영상 다이나믹스를 기반으로 학습을 이끌어낸다.
• 영상 프레임 내 국소적 및 전역적 맥락을 모델링하기 위해 비전 트랜스포머와 컨volution 신경망을 조합한다.
• 표준 평가 지표인 평균 정밀도(AP)를 사용해 세 가지 공개 해수면 영상 데이터셋에서 결과를 보고한다.

실험 결과

연구 질문

• RQ1 광학 흐름과 배경 차분만으로 생성된 의사 레이블이 정확한 어류 분할 모델 학습에 충분한 품질을 확보할 수 있는가?
• RQ2 자기지도 보정이 해수면 영상 분할에서 비지도 의사 레이블의 정확도를 어느 정도 향상시키는가?
• RQ3 이상적인 조건이 아닌 다양한 영상 품질과 환경 조건을 가진 다양한 해수면 영상 데이터셋에서 이 방법의 성능은 어떠한가?
• RQ4 재학습 없이도 인간의 레이블 없이도 새로운 데이터셋에 일반화 가능한가?
• RQ5 부분적인 가림, 변형된 어류 형태, 복잡한 배경 처리에서 이 방법의 한계는 무엇인가?

주요 결과

• 제안된 방법은 세 가지 공개 데이터셋 전반에서 배경 차분 없이 광학 흐름만을 사용한 베이스라인보다 높은 평균 정밀도(AP)를 달성한다.
• DeepFish 데이터셋에서 모델는 베이스라인보다 유의미하게 향상된 분할 정확도를 보이며, 실제 조건에서 강력한 성능을 입증한다.
• 다양한 데이터셋 간 일관된 성능 유지로, 영상 품질 및 환경 요인의 변화에 강건함을 시사한다.
• 학습은 몇 에포크 내에 빠르게 수렴하며, 지도 학습으로 미세조정해도 분할 정확도가 저하되지 않는다.
• 부분적인 가림 상황에서도 어류의 가시 부분에 대해 마스크 예측을 유지하는 등, 내성적 저항성을 보인다.
• 한계점으로는 어류가 너무 가까이 있거나 겹칠 경우 개별 개체를 구분하지 못하고, 복잡한 장면에서는 모든 어류를 감지하지 못하는 경우가 간헐적으로 발생한다.