[논문 리뷰] Weakly-Supervised Classification and Detection of Bird Sounds in the Wild. A BirdCLEF 2021 Solution

Marcos V. Conde, Kumar Shubham외 3명|arXiv (Cornell University)|2021. 07. 10.

Animal Vocal Communication and Behavior인용 수 6

한 줄 요약

이 논문은 복잡한 음향 환경에서 미세한 분류 수준의 새 울음소리를 분류하고 탐지하기 위한 약한 감독 기반 딥러닝 파이프라인을 제시한다. 앙상블 모델, 확률 보정, 현장별 필터링을 활용하여 BirdCLEF 2021 챌린지에서 10위(공개 리더보드 F1 스코어 0.7801, 비공개 리더보드 F1 스코어 0.6738)를 기록하였다. 이 방법은 메타데이터와 신뢰도 보정을 통해 배경 잡음에 대한 강건성과 다양한 지리적 지역으로의 일반화 능력을 향상시켰다.

ABSTRACT

It is easier to hear birds than see them, however, they still play an essential role in nature and they are excellent indicators of deteriorating environmental quality and pollution. Recent advances in Machine Learning and Convolutional Neural Networks allow us to detect and classify bird sounds, by doing this, we can assist researchers in monitoring the status and trends of bird populations and biodiversity in ecosystems. We propose a sound detection and classification pipeline for analyzing complex soundscape recordings and identify birdcalls in the background. Our pipeline learns from weak labels, classifies fine-grained bird vocalizations in the wild, and is robust against background sounds (e.g., airplanes, rain, etc). Our solution achieved 10th place of 816 teams at the BirdCLEF 2021 Challenge hosted on Kaggle.

연구 동기 및 목표

• 실제의 소음이 많은 음향 환경에서 미세한 분류 수준의 새 울음소리를 탐지하고 분류하기 위한 강건한 약한 감독 기반 시스템을 개발하기 위해.
• 제한된 감독 정보로 장시간 음성 기록에서 397종의 새 종을 분류하는 과제를 해결하기 위해.
• 위치 및 희귀도 메타데이터를 활용하여 다양한 지리적 지역(예: 콜롬비아, 코스타리카, 미국)으로의 모델 일반화를 향상시키기 위해.
• 현장별 새 분포와 혼동 패턴을 바탕으로 한 후처리 필터를 통해 임의의 양성 및 음성 예측을 감소시키기 위해.
• 강력한 애너테이션에 거의 의존하지 않고 BirdCLEF 2021 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• Mel 스펙트로그램을 입력 특징으로 사용하여, 약한 레이블이 부여된 음성 데이터에 대해 딥 컨volution 네트워크(모델)의 앙상블을 훈련시켰다.
• 시계열 기반 확률 보정(PC)을 적용하여 클립 수준 및 인접 프레임 통계를 활용해 예측 신뢰도를 보정하였다.
• Haversine 거리 기반으로 현장 인지 필터링 메커니즘을 구현하여 예측을 특정 기록 위치에서 발생할 가능성이 높은 종으로 제한하였다.
• 'nocall'(울음이 없음)로 잘못 분류되는 데 가장 흔한 새 종을 식별하고, 이를 가중치를 낮추는 방식으로 거짓 음성 예측 감소 전략을 도입하였다.
• 기록된 지역의 지리적 범위에 속하지 않는 종의 예측을 제거하기 위해 거짓 양성 예측 감소 필터를 구현하였다.
• 모델 앙상블과 보정된 확률, 메타데이터 기반 필터링을 조합하여 테스트 세트에 대한 최종 예측을 도출하였다.

실험 결과

연구 질문

• RQ1 약한 감독 기반 딥러닝 모델은 어떻게 복잡한 실제 음향 환경에서 미세한 분류 수준의 새 종을 분류하는 데 효과적으로 적응시킬 수 있는가?
• RQ2 지리적 메타데이터(위도, 경도)는 새 울음소리 식별에서 성능을 향상시키고 거짓 양성 예측을 줄이는 데 어느 정도 기여하는가?
• RQ3 확률 보정 기법은 약한 감독 기반 음성 분류 작업에서 F1 스코어를 상당히 향상시킬 수 있는가?
• RQ4 후처리 필터는 모델이 'nocall' 클래스와 혼동하여 발생시키는 거짓 음성 예측을 어느 정도 효과적으로 줄일 수 있는가?
• RQ5 통합된 파이프라인은 다양한 기록 현장(다른 새 종과 배경 잡음 프로파일을 가진 곳)에서 일반화할 수 있는가?

주요 결과

• 확률 보정 및 필터링을 적용한 최종 앙상블 모델은 공개 리더보드 F1 스코어 0.7801, 비공개 리더보드 스코어 0.6738을 기록하여 BirdCLEF 2021에서 816개 팀 중 10위를 차지하였다.
• 확률 보정은 기준 모델 대비 콜 세그먼트에서 교차 검증 F1 스코어를 +0.07 향상시켰다.
• 현장별 정보 통합으로 기록 지역 외부의 종을 필터링함으로써 거짓 양성 예측이 감소하였다.
• 거짓 음성 예측 감소 전략—'nocall' 클래스와 가장 자주 혼동되는 새 종을 대상으로 한 전략—은 CV@0.54 지표를 0.7836으로 향상시켰다.
• 공개 리더보드에서 2020년 코넬 새 울음소리 식별 챌린지의 최고 성능 솔루션보다 +0.035 향상되었고, 비공개 리더보드에서는 +0.018 향상되었다.
• 이 파이프라인은 콜롬비아(COL), 코스타리카(COR), 남동부 미국(SNE), 서부 남부 미국(SSW)의 네 가지 다른 지리적 지역에서 강력한 일반화 능력을 보였으며, 지역별 음향 및 종의 다양성에 대한 강건성을 입증하였다.