[논문 리뷰] Western Mediterranean wetlands bird species classification: evaluating small-footprint deep learning approaches on a new annotated dataset

Juan Gómez-Gómez, Ester Vidaña-Vila외 1명|arXiv (Cornell University)|2022. 07. 12.

Animal Vocal Communication and Behavior인용 수 7

한 줄 요약

이 논문은 20개의 고유 종으로 구성된 새로 생성된 데이터셋에서 5,795개의 음성 요약을 사용하여 서유럽 습지에서 조류 종을 분류하기 위해 소형 포지션 딥러닝 모델—VGG16, ResNet50, MobileNetV2—을 평가한다. MobileNetV2는 F1 스코어 0.789를 기록하여 ResNet50의 0.834에 비해 5% 이내로 높은 성능를 보이며, 모델 크기를 거의 40배 줄여 자원이 제한된 생물음성 모니터링 장치에 매우 적합하다.

ABSTRACT

The deployment of an expert system running over a wireless acoustic sensors network made up of bioacoustic monitoring devices that recognise bird species from their sounds would enable the automation of many tasks of ecological value, including the analysis of bird population composition or the detection of endangered species in areas of environmental interest. Endowing these devices with accurate audio classification capabilities is possible thanks to the latest advances in artificial intelligence, among which deep learning techniques excel. However, a key issue to make bioacoustic devices affordable is the use of small footprint deep neural networks that can be embedded in resource and battery constrained hardware platforms. For this reason, this work presents a critical comparative analysis between two heavy and large footprint deep neural networks (VGG16 and ResNet50) and a lightweight alternative, MobileNetV2. Our experimental results reveal that MobileNetV2 achieves an average F1-score less than a 5\% lower than ResNet50 (0.789 vs. 0.834), performing better than VGG16 with a footprint size nearly 40 times smaller. Moreover, to compare the models, we have created and made public the Western Mediterranean Wetland Birds dataset, consisting of 201.6 minutes and 5,795 audio excerpts of 20 endemic bird species of the Aiguamolls de l'Empordà Natural Park.

연구 동기 및 목표

• 생태 모니터링에 사용되는 배터리 구동, 자원이 제한된 무선 음성 센서 네트워크에 배포 가능한 소형 포지션 딥러닝 모델을 개발하고 평가하는 것.
• 모델 크기와 추론 효율성이 핵심적인 실세계 생물음성 응용 프로그램에서 정확한 음성 분류를 구현하는 데 도전하는 것.
• 서유럽 습지에 서식하는 20종의 고유 종에서 수집한 201.6분 분량의 애너테이션된 조류 음성 자료를 포함하는 새로운 공개 데이터셋을 구축하고 배포하는 것.
• 정확도, 추론 속도, 모델 크기 측면에서 무거운 모델(VGG16, ResNet50)과 경량 아키텍처(MobileNetV2)의 성능를 비교하는 것.

제안 방법

• 본 연구는 새로 수집한 조류 음성 데이터셋에 대해 테이닝된 세 개의 딥 네ural 네트워크—VGG16, ResNet50, MobileNetV2—을 비교 평가하는 방식을 사용한다.
• 음성 데이터는 스펙트로그램 기반 표현 방식으로 사전 처리되며, 딥러닝 모델의 입력 특징으로 멜-스펙트로그램이 사용된다.
• 이미지넷 사전 훈련된 가중치를 활용한 전이 학습을 적용하여, 서유럽 습지 조류 데이터셋에 대해 종 분류를 위한 테이닝을 수행한다.
• 모델 성능 평가에는 F1 스코어를 사용하며, 모든 20종의 조류에 대해 균형 잡힌 성능를 평가하기 위해 클래스 평균 F1에 중점을 둔다.
• 모델 프로파일은 매개변수 수와 모델 크기(MB 단위)로 측정되며, 임베디드 배포를 위한 효율성을 강조한다.
• 20종의 고유 종에서 수집한 5,795개의 음성 요약을 포함하는 새로운 데이터셋을 구축하고 공개 배포한다.

실험 결과

연구 질문

• RQ1 경량 딥러닝 모델은 실세계 서유럽 습지 환경에서 조류 종을 높은 정확도로 분류할 수 있을까? 이때 모델 크기가 매우 작아져 임베디드 배포에 적합한가?
• RQ2 이 특정 생물음성 데이터셋에서 MobileNetV2의 성능는 VGG16 및 ResNet50와 비교해 F1 스코어와 모델 크기 측면에서 어떻게 다른가?
• RQ3 저전력 무선 음성 센서 네트워크에 딥러닝 모델을 배포할 때 정확도와 계산 효율성 사이의 상호 교환 관계는 어떠한가?
• RQ4 제안된 데이터셋은 생물다양성 모니터링에서 소형 포지션 모델을 위한 조류 종 분류 학습 및 평가에 얼마나 기여하는가?

주요 결과

• MobileNetV2는 평균 F1 스코어 0.789를 기록하여 ResNet50의 0.834에 비해 5% 미만으로 낮게 나타나, 훨씬 낮은 복잡성으로도 뛰어난 성능를 보여준다.
• 더 작은 크기에도 불구하고 MobileNetV2는 F1 스코어와 모델 프로파일 측면에서 VGG16을 모두 능가하며, VGG16에 비해 모델 크기가 거의 40배 작다.
• 제안된 서유럽 습지 조류 데이터셋은 총 201.6분 분량의 20종의 고유 종에서 수집한 5,795개의 음성 요약을 포함하여, 소형 포지션 모델의 벤치마킹에 적합하다.
• ResNet50는 가장 높은 F1 스코어(0.834)를 기록했지만, 큰 모델 크기로 인해 저자원 플랫폼에의 배포가 제한된다.
• MobileNetV2는 정확도와 모델 효율성 사이의 최적의 균형을 제공하여, 생태 모니터링 시스템에서 실시간, 장치 내 추론에 매우 적합하다.
• 본 연구는 경량 모델이 특화된 생물음성 작업에서 최신 기술 수준에 근접한 성능를 달성할 수 있음을 입증하며, 원거리에 위치한 배터리 구동 센서 네트워크에서의 확장 가능한 배포를 가능하게 한다.