[논문 리뷰] Counting Fish and Dolphins in Sonar Images Using Deep Learning

Stefan Schneider, Alex Zhuang|arXiv (Cornell University)|2020. 07. 24.

Marine animal studies overview참고 문헌 27인용 수 13

한 줄 요약

이 논문은 아마존 강의 수중 음향 이미지에서 물고기와 돌고래의 수를 세는 데 깊이 학습 기반 접근법을 제안하며, 훈련 데이터가 제한된 점을 보완하기 위해 데이터 증강 기법을 활용한다. 20장의 실제 이미지에서 최대 25,000장의 합성 이미지를 시뮬레이션함으로써, DenseNet201 및 Xception 모델을 사용하여 물고기의 평균 오차는 2.11, 돌고래의 평균 오차는 0.133을 달성하였으며, 생태학적으로 도전적인 환경에서 실시간으로 개체 수를 추정하는 데 효과적임을 입증한다.

ABSTRACT

Deep learning provides the opportunity to improve upon conflicting reports considering the relationship between the Amazon river's fish and dolphin abundance and reduced canopy cover as a result of deforestation. Current methods of fish and dolphin abundance estimates are performed by on-site sampling using visual and capture/release strategies. We propose a novel approach to calculating fish abundance using deep learning for fish and dolphin estimates from sonar images taken from the back of a trolling boat. We consider a data set of 143 images ranging from 0-34 fish, and 0-3 dolphins provided by the Fund Amazonia research group. To overcome the data limitation, we test the capabilities of data augmentation on an unconventional 15/85 training/testing split. Using 20 training images, we simulate a gradient of data up to 25,000 images using augmented backgrounds and randomly placed/rotation cropped fish and dolphin taken from the training set. We then train four multitask network architectures: DenseNet201, InceptionNetV2, Xception, and MobileNetV2 to predict fish and dolphin numbers using two function approximation methods: regression and classification. For regression, Densenet201 performed best for fish and Xception best for dolphin with mean squared errors of 2.11 and 0.133 respectively. For classification, InceptionResNetV2 performed best for fish and MobileNetV2 best for dolphins with a mean error of 2.07 and 0.245 respectively. Considering the 123 testing images, our results show the success of data simulation for limited sonar data sets. We find DenseNet201 is able to identify dolphins after approximately 5000 training images, while fish required the full 25,000. Our method can be used to lower costs and expedite the data analysis of fish and dolphin abundance to real-time along the Amazon river and river systems worldwide.

연구 동기 및 목표

• 아마존 강에서 물고기와 돌고래의 개체 수 추정을 위한 수중 음향 이미지 데이터가 부족한 문제를 해결하기 위해.
• 트롤링 보에서 촬영한 수중 음향 이미지에서 실시간으로 자동으로 물고기와 돌고래의 수를 세는 깊이 학습 기반 방법을 개발하기 위해.
• 생태학적 컴퓨터 비전 과제에서 작은 데이터셋의 한계를 극복하기 위해 데이터 증강의 효과를 평가하기 위해.
• 다양한 깊이 학습 아키텍처를 사용하여 개체 수 예측에 회귀와 분류 접근법을 비교하기 위해.
• 아마존 강 돌고래와 같은 멸종 위험에 처한 종의 더 빠르고 저렴하며 확장 가능한 모니터링을 지원하기 위해.

제안 방법

• 저자는 20장의 원본 훈련 이미지에 무작위 회전, 이동, 배경 교체를 적용하여 합성 수중 음향 이미지를 생성하는 맞춤형 데이터 증강 파이프라인을 사용한다.
• 증강 과정은 20장에서 25,000장의 합성 이미지로 이르는 데이터의 연속성을 시뮬레이션하여, 실제 데이터가 적은 상황에서도 모델의 일반화 능력을 향상시킨다.
• 회귀와 분류 작업을 모두 수행하기 위해 네 가지 깊이 학습 아키텍처—DenseNet201, InceptionResNetV2, Xception, MobileNetV2—를 사용하여 물고기와 돌고래의 수를 예측하도록 훈련한다.
• 회귀는 연속적인 개체 수 값을 예측하는 데 사용되며, 분류에서는 수를 이산 클래스로 간주한다. 두 방법 모두 15/85 훈련/테스트 분할 기준으로 평가된다.
• 모델 성능은 123장의 보류된 테스트 이미지에서 평가되며, 주요 평가 지표로는 평균 제곱 오차와 평균 절대 오차가 사용된다.
• 실제 수중 음향 데이터를 확보하기 위해 연구는 StarFish Seabed Imaging System을 활용하여 아마존 강에서 생태학적으로 현실적인 데이터셋을 확보한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 아마존 강의 제한된 수중 음향 이미지 데이터에서 정확한 물고기 및 돌고래의 개체 수 추정을 달성할 수 있는가?
• RQ2 훈련 데이터가 부족한 상황에서 데이터 증강이 모델 성능 향상에 얼마나 효과적인가?
• RQ3 DenseNet201, InceptionResNetV2, Xception, MobileNetV2 중에서 어떤 깊이 학습 아키텍처가 수중 음향 이미지에서 물고기 및 돌고래 수 세는 데 가장 우수한 성능을 보이는가?
• RQ4 이 맥락에서 개체 수 예측에 대해 회귀가 분류보다 더 효과적인가?
• RQ5 어느 정도의 합성 데이터가 물고기 및 돌고래 수 세기 작업에서 신뢰할 수 있는 성능을 달성하기 위해 필요한가?

주요 결과

• DenseNet201은 회귀를 사용하여 물고기 수 세기에서 평균 오차 2.11을 기록하여 다른 모델보다 뛰어난 성능을 보였다.
• Xception은 회귀를 사용하여 돌고래 수 세기에서 평균 오차 0.133을 기록하여 가장 뛰어난 성능을 보였다.
• 분류의 경우, InceptionResNetV2는 물고기 수 세기에서 평균 오차 2.07을 기록하여 가장 낮은 오차를 기록했으며, MobileNetV2는 돌고래 수 세기에서 평균 오차 0.245를 기록했다.
• 돌고래 실루엣은 더 명확한 픽셀 표현을 가지므로 물고기보다 학습하기 쉬워, 높은 정확도를 달성하기 위해 더 적은 양의 합성 데이터가 필요했다.
• DenseNet201의 돌고래 수 세기 성능은 약 5,000장의 합성 이미지 이후에 크게 향상되었지만, 물고기의 경우 최적 성능을 달성하기 위해 전체 25,000장의 합성 이미지가 필요했다.
• 본 연구는 지능적인 데이터 시뮬레이션을 통해 생태학적 소규모 데이터셋에서도 깊이 학습 모델이 효과적으로 일반화될 수 있음을 입증하며, 강 시스템에서 실시간 개체 수 추정이 가능해짐을 보여준다.