[논문 리뷰] FishNet: A Unified Embedding for Salmon Recognition

Bjørn Magnus Mathisen, Kerstin Bach외 3명|arXiv (Cornell University)|2020. 10. 20.

Water Quality Monitoring Technologies인용 수 5

한 줄 요약

FishNet는 FaceNet를 영감으로 삼아, 머리 이미지에서 비침습적이고 정확한 개체별 산악계 생물 인식을 가능하게 하는 시아모이(Siamese) 딥 러닝 아키텍처를 제안한다. 통합 임bedding 공간을 사용하여 96%의 참양성율과 1%의 거짓양성율을 달성하며, 어류 양식에서 물리적 태그의 의존도를 줄일 수 있음을 입증한다.

ABSTRACT

Identifying individual salmon can be very beneficial for the aquaculture industry as it enables monitoring and analyzing fish behavior and welfare. For aquaculture researchers identifying individual salmon is imperative to their research. The current methods of individual salmon tagging and tracking rely on physical interaction with the fish. This process is inefficient and can cause physical harm and stress for the salmon. In this paper we propose FishNet, based on a deep learning technique that has been successfully used for identifying humans, to identify salmon.We create a dataset of labeled fish images and then test the performance of the FishNet architecture. Our experiments show that this architecture learns a useful representation based on images of salmon heads. Further, we show that good performance can be achieved with relatively small neural network models: FishNet achieves a false positive rate of 1\% and a true positive rate of 96\%.

연구 동기 및 목표

• 물리적 태그의 부담을 줄이고 복지 향상을 위해 비침습적인 개인 식별 방법을 개발하기 위해.
• 어류 무리에서 선택적 샘플링으로 인한 편향이 발생하는 현재의 수동 샘플링 방법의 한계를 해결하기 위해.
• 인간 얼굴 식별에서 입증된 딥 메트릭 러닝 기법을 산악계 생물 개인 식별 문제에 적용하기 위해.
• 아가미에서 수확까지 장기적인 개인 추적을 위한 강력하고 확장 가능한 시스템을 구축하기 위해.

제안 방법

• FishNet는 FaceNet 기반의 시아모이 신경망 아키텍처를 사용하며, 산악계 생물 머리 이미지의 통합 임bedding 공간을 학습하기 위해 트리플릿 손실 함수를 적용한다.
• 모델은 레이블이 부여된 산악계 생물 머리 이미지의 고유 데이터셋을 기반으로 훈련되며, 미세한 시각적 변형에 대한 강건성을 높이기 위해 데이터 증강 기법을 적용한다.
• 세 가지 백본 아키텍처가 평가되었으며, 각각 Inception-ResNet-v2 (FishNet1), MobileNet-v2 (FishNet2), VGG-16 (FishNet3)로, 깊이 있는 특징을 추출하는 데 사용된다.
• 네트워크는 동일한 개인의 임bedding 간 거리를 최소화하고, 다른 개인 간 거리를 최대화하도록 학습한다.
• 성능 평가는 ROC 곡선과 AUC, 참양성율(TPR) 1% 거짓양성율(FPR) 기준, 내부 클래스 및 외부 클래스 임bedding 거리 등을 사용하여 평가된다.
• 시각적 평가 결과, 평균 내부 개인 거리는 약 0.36이며, 평균 외부 개인 거리는 약 1.40로 나타나, 임bedding 공간 내에서 명확한 분리가 이루어졌음을 확인한다.

실험 결과

연구 질문

• RQ1 산악계 생물 머리 이미지에 기반한 딥 메트릭 러닝 접근법이 물리적 태그 없이도 고정확도의 개인 식별을 달성할 수 있는가?
• RQ2 정확도와 계산 효율성 측면에서 다양한 신경망 아키텍처에 따라 FishNet의 성능는 어떻게 달라지는가?
• RQ3 실제 어류 양식 환경에서의 시각적 변형에 대비해 데이터 증강 기법이 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 학습된 임bedding이 다양한 조명 조건 및 이미지 품질 조건에서도 개인 간을 신뢰성 있게 구분할 수 있는가?
• RQ5 성장, 상처 또는 질병으로 인한 장기적인 시각적 변화에 대해 모델은 얼마나 강건한가?

주요 결과

• Inception-ResNet-v2 기반의 FishNet1은 AUC 0.9977과 1% FPR 기준 참양성율 96.4%를 기록하여 최고의 성능를 보였다.
• MobileNet-v2를 사용한 FishNet2는 1% FPR 기준 참양성율 96.1%를 기록하며 낮은 계산 비용으로도 뛰어난 성능를 보였다.
• VGG-16 기반의 FishNet3는 1% FPR 기준 참양성율 뿐만 아니라 성능이 열등하여 아키텍처 선택이 정확도에 상당한 영향을 미친다는 점을 확인했다.
• 동일 산악계 생물의 이미지 간 평균 임bedding 거리는 0.36이며, 다른 산악계 생물 간 평균 거리는 1.40로 나타나, 분류 간 명확한 분리가 이루어졌음을 확인했다.
• ROC 곡선 분석 결과, FishNet1과 FishNet2는 모든 유사도 임계값에서 FishNet3를 초월하며, FishNet1이 가장 큰 곡선 아래 면적을 기록했다.
• 시각적 평가 결과, 내부 개인 거리는 외부 개인 거리의 약 3.88배 작으며, 이는 모델의 분류 능력이 검증되었음을 입증한다.