[논문 리뷰] NDD20: A large-scale few-shot dolphin dataset for coarse and fine-grained categorisation

Cameron Trotter, Georgia Atkinson외 6명|arXiv (Cornell University)|2020. 05. 27.

Marine animal studies overview참고 문헌 19인용 수 10

한 줄 요약

NDD20는 2,201장의 수상 및 1,050장의 수중 돌고래 이미지를 포함한 대규모 오픈소스 데이터셋으로, 군집 및 세분화된 인스턴스 세분화를 위해 레이블링되었으며, 개인 수준의 ID와 종 레이블이 포함되어 있다. 이 데이터셋으로 훈련된 Mask-RCNN 모델은 각각 수상 및 수중 데이터에 대해 mAP@IOU[0.5, 0.75]가 0.96과 0.97을 기록하여 보존 응용 분야에서 자동 돌고래 사진 식별을 위한 강력한 베이스라인을 확립하였다.

ABSTRACT

We introduce the Northumberland Dolphin Dataset 2020 (NDD20), a challenging image dataset annotated for both coarse and fine-grained instance segmentation and categorisation. This dataset, the first release of the NDD, was created in response to the rapid expansion of computer vision into conservation research and the production of field-deployable systems suited to extreme environmental conditions -- an area with few open source datasets. NDD20 contains a large collection of above and below water images of two different dolphin species for traditional coarse and fine-grained segmentation. All data contained in NDD20 was obtained via manual collection in the North Sea around the Northumberland coastline, UK. We present experimentation using standard deep learning network architecture trained using NDD20 and report baselines results.

연구 동기 및 목표

• 보존 분야의 돌고래 컴퓨터 비전을 위한 오픈소스, 대규모, 세분화된 데이터셋의 부족을 해결하기 위해.
• 다양한 환경 조건(수상 및 수중)에서 자동 사진 식별 시스템의 벤치마크를 가능하게 하기 위해.
• 유일한 무늬를 기반으로 개인 돌고래를 식별하기 위한 소수의 샘플 학습 모델 개발을 지원하기 위해.
• 세균류 연구에서 수작업으로 시간이 많이 소요되는 사진 식별에 대한 의존도를 줄이기 위해.
• 생태학적 컴퓨터 비전 분야에서 딥 러닝 모델의 훈련 및 평가를 위한 표준화된 공개 데이터셋을 제공하기 위해.

제안 방법

• 데이터셋은 영국 북해 지역에서 36회의 수중 및 27회의 수상 조사로 수집되었으며, 유리한 날씨 및 수질 조건에서 DSLR 및 GoPro 카메라를 사용하였다.
• 모든 이미지는 VIA 2.0.8 형식을 사용하여 수동으로 인스턴스 세분화 마스크로 레이블링되었으며, 객체(돌고래), 종(BND, WBD), 개인 ID에 대한 계층적 레이블이 포함되어 있다.
• 실제 ID는 무작위 수치 레이블로 대체되고 모든 EXIF 메타데이터가 제거되어 지속 중인 연구를 보호하기 위한 의사익명화 프로세스가 적용되었다.
• ResNet-50 백본이 MSCOCO에서 미리 훈련된 모델을 사용하여, 코즈인 애너일링 학습률 스케줄링을 적용한 두 개의 Mask-RCNN 모델이 훈련되었다.
• 모델 평가는 수상 및 수중 서브셋에 대해 각각 80:20 훈련-테스트 분할을 사용하여 mAP@IOU[0.5, 0.75]로 평가되었다.
• 수중 이미지에 대해 '초점이 흐린' 플래그가 포함되어 있어 실제 이미지 품질 도전 과제를 반영하고 있다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 자연 해양 환경에서 수상 및 수중 이미지에서 돌고래의 인스턴스 세분화에 높은 정확도를 달성할 수 있는가?
• RQ2 이미지 품질 및 환경 조건(예: 수질, 굴절)이 수중 및 수상 설정에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 개인 식별 클래스의 소수의 샘플 특성으로 인해 모델의 일반화 능력과 성능에 어떤 정도의 영향을 미치는가?
• RQ4 이 데이터셋이 종 및 개인 식별을 위한 세분화된 분류 모델의 벤치마크를 지원할 수 있는가?
• RQ5 돌고래 자세의 변화 및 부분적 가시성의 변화가 다양한 데이터 모odalities 간의 세분화 정확도에 어떤 영향을 미치는가?

주요 결과

• 수상 이미지로 훈련된 Mask-RCNN 모델은 mAP@IOU[0.5, 0.75]가 0.96를 기록하여 데이터셋의 시각적 과제에도 불구하고 뛰어난 성능을 보였다.
• 수중 이미지로 훈련된 모델은 약간 더 높은 mAP@IOU[0.5, 0.75] 0.97을 기록하여, 수중 데이터가 마스크 품질이나 특징 가시성 측면에서 더 일관성 있는 경향이 있음을 시사했다.
• 수중 데이터의 높은 mAP는 더 일관된 몸체 방향 또는 수중에서 더 뚜렷하게 드러나는 텍스처 특징 때문일 수 있으나, 환경 노이즈가 더 크다는 점을 감안할 때 놀라운 결과이다.
• 개인 ID의 분포는 장꼬리 분포를 보이며, 일부 ID는 단 한 번 또는 두 번만 나타나어 실제 소수의 샘플 학습 과제를 반영하고 있다.
• 수중 서브셋에 존재하는 '초점이 흐린' 플래그는 이미지 품질이 모델 신뢰성에 영향을 미치는 주요 요소임을 확인한다.
• 결과적으로 종 및 개인 식별 작업을 포함한 세분화된 돌고래 인식 분야의 향후 연구를 위한 강력한 베이스라인을 확립하였다.