[논문 리뷰] Parsing Birdsong with Deep Audio Embeddings

Irina Tolkova, Brian Chu외 3명|arXiv (Cornell University)|2021. 08. 20.

Animal Vocal Communication and Behavior참고 문헌 21인용 수 14

한 줄 요약

이 논문은 깊이 있는 음성 임베딩을 사용하여 BirdNET의 조류 부르기 분류에서 가짜 양성 결과를 탐지하는 준지도 학습 프레임워크를 제안한다. 경량화된 잠재 표현을 합성곱 오토에인코더와 사전 훈련된 네트워크(Wavegram-Logmel-CNN16, VGGish, Wav2Vec)를 통해 학습하고, 음성 샘플을 군집화하여 전문가가 군집을 레이블링할 수 있도록 하여, 특히 잡음이 많거나 신호 대 잡음비가 낮은 녹음에서의 분류 정밀도를 향상시킨다.

ABSTRACT

Monitoring of bird populations has played a vital role in conservation efforts and in understanding biodiversity loss. The automation of this process has been facilitated by both sensing technologies, such as passive acoustic monitoring, and accompanying analytical tools, such as deep learning. However, machine learning models frequently have difficulty generalizing to examples not encountered in the training data. In our work, we present a semi-supervised approach to identify characteristic calls and environmental noise. We utilize several methods to learn a latent representation of audio samples, including a convolutional autoencoder and two pre-trained networks, and group the resulting embeddings for a domain expert to identify cluster labels. We show that our approach can improve classification precision and provide insight into the latent structure of environmental acoustic datasets.

연구 동기 및 목표

• 저소음비 환경에서 자동 조류 부르기 분류에 발생하는 가짜 양성 결과 문제를 해결하기 위해.
• 학습된 음성 임베딩을 사용하여 BirdNET의 출력을 후처리함으로써 종 식별의 정밀도를 향상시키기 위해.
• 도메인 전문가가 음성 임베딩 군집을 해석하고 레이블링하여 종내 및 환경적 소리의 구조적 패턴을 파악할 수 있도록 하기 위해.
• 학습된 표현의 군집화를 통해 배경 잡음이나 잘못 분류된 부르기로 인한 가짜 양성 결과를 식별하고 고립하기 위해.
• 고품질 훈련 데이터(Xeno-Canto)와 실제 도메인 적용(BirdNET 사용자 기여 데이터) 간의 도메인 이동에 대한 통찰을 제공하기 위해.

제안 방법

• 원시 음성 웨이브폼의 압축되고 의미 있는 표현을 학습하기 위해 합성곱 오토에인코더를 활용한다.
• 전이 학습을 위해 두 개의 사전 훈련된 모델인 Wavegram-Logmel-CNN16과 VGGish를 사용한다.
• 자기지도 학습 표현 학습을 위해 Wav2Vec를 적용하여 원시 음성에서 맥락 기반 풍부한 임베딩을 추출한다.
• 음성 유사도 기반으로 이해 가능한 군집을 생성하기 위해 군집 알고리즘(k-means 등)을 적용한다.
• 군집에 의미적 레이블(예: '막대기 무늬 고라니 휘파람', '새끼가 먹이를 청하는 부르기', '환경 잡음')을 할당하기 위해 인간의 참여를 통합한다.
• 군집 할당을 활용하여 BirdNET 예측을 재평가하고, 정밀도 향상을 위해 대체 신뢰도 점수를 할당한다.

실험 결과

연구 질문

• RQ1 딥 음성 임베딩은 실제 녹음에서 진짜 조류 부르기와 환경 잡음 또는 잘못 분류된 부르기 사이를 효과적으로 구분할 수 있는가?
• RQ2 Wavegram-Logmel-CNN16, VGGish, Wav2Vec와 같은 다양한 모델에서 학습된 임베딩는 후속 분류에 있어 의미 있는 음향적 구조를 얼마나 잘 포착하는가?
• RQ3 전문가가 레이블링한 군집 레이블은 후처리 단계에서 BirdNET의 예측 정밀도를 어느 정도 향상시킬 수 있는가?
• RQ4 고품질 훈련 데이터(Xeno-Canto)와 실제 사용자 기여 데이터(BirdNET) 간의 도메인 이동은 임베딩 분포와 분류 성능에 어떤 영향을 미치는가?
• RQ5 학습된 임베딩 공간에서 군집화를 통해 드러나는 종내 부르기의 구조적 패턴(예: 성체 대 자녀 부르기)은 무엇인가?

주요 결과

• Wavegram-Logmel-CNN16 모델이 세 가지 임베딩 방법 중에서 가장 높은 정밀도를 기록했지만, 재현율은 낮아 가짜 양성 결과 감소 효과가 뚜렷했다.
• 임베딩 군집화 과정에서 전문가가 직접 레이블링한 이해 가능한 군집(예: 성숙한 막대기 무늬 고라니 휘파람, 새끼가 먹이를 청하는 부르기, 환경 잡음)이 드러났다.
• 이 방법은 사용자 녹음에서 '잡음' 군집에 더 높은 비율의 BirdNET 기여가 할당된 것으로 확인하여, 사용자 녹음의 신호 대 잡음비가 낮다는 것을 반영했다.
• Xeno-Canto와 BirdNET의 임베딩 간에 상당한 도메인 이동이 관찰되었으며, 일부 군집(예: 자녀 부르기)은 분포상의 상당한 차이를 보였다.
• 막대기 무늬 고라니의 경우, 이 접근법이 정밀도 향상에 뚜렷한 기여를 하였지만, 데이터셋 내 진짜 양성 샘플 수가 적어 성능이 제한되었다.
• 이 프레임워크는 인간이 참여하는 군집 레이블링이 특히 잡음이 많거나 모호한 녹음에서 가짜 양성 결과를 효과적으로 탐지하고 고립하는 데 유용하다는 점을 입증했다.