[논문 리뷰] NIPS4Bplus: a richly annotated birdsong audio dataset

Veronica Morfi, Yves Bas외 3명|arXiv (Cornell University)|2018. 11. 06.

Animal Vocal Communication and Behavior참고 문헌 30인용 수 5

한 줄 요약

NIPS4Bplus는 새의 종별 태그와 정확한 시각적 태그를 결합한 풍부하게 주석 처리된 첫 번째 새소리 오디오 데이터셋으로, 음성 이벤트 탐지 및 분류 모델의 훈련과 평가를 가능하게 한다. 다중 인스턴스 학습 및 다중 작업 학습 프레임워크를 지원하며, 프랑스와 스페인에서 수집한 다양한 실제 환경의 녹음 자료를 바탕으로 생태음향학적 응용을 위한 벤치마크를 제공한다.

ABSTRACT

Recent advances in birdsong detection and classification have approached a limit due to the lack of fully annotated recordings. In this paper, we present NIPS4Bplus, the first richly annotated birdsong audio dataset, that is comprised of recordings containing bird vocalisations along with their active species tags plus the temporal annotations acquired for them. Statistical information about the recordings, their species specific tags and their temporal annotations are presented along with example uses. NIPS4Bplus could be used in various ecoacoustic tasks, such as training models for bird population monitoring, species classification, birdsong vocalisation detection and classification.

연구 동기 및 목표

• 종별 태그와 음성 발화의 정확한 시각적 경계를 모두 포함한 완전히 주석 처리된 새소리 데이터셋의 부족을 해결하기 위해.
• 오직 오디오 태그 또는 최소한의 감독만으로 모델을 훈련시킬 수 있도록 하여 수동 시각적 태그 처리에 대한 의존도를 줄이기 위해.
• 다양한 종이 공존하는 복잡한 음향 환경에서 새 발화 탐지 및 분류를 위한 견고한 모델 개발을 가능하게 하기 위해.
• 다양하고 지리적으로 대표적인 데이터셋을 통해 생태음향학 연구, 특히 생물다양성 모니터링 및 인구 평가를 지원하기 위해.

제안 방법

• 30시간 분량의 현장 녹음 자료를 프랑스와 스페인의 39개 지점에서 SM2BAT 기록기와 SMX-US 마이크로폰을 사용해 수집하였다.
• 5,000개의 선택된 녹음 자료에 대해 계층적 랜덤 샘플링을 적용하여 종, 위치, 음향 특성 측면에서 다양성을 극대화하였다.
• 종 태그는 원본 NIPS4B 2013 데이터셋에서 유래되었으며, 전문 주석 처리자에 의한 수동 검증 및 수정이 추가로 이루어졌다.
• 시각적 태그는 Sonic Visualiser를 사용해 수동으로 생성되었으며, 각 이벤트는 시작 시각, 지속 시간, 종 또는 '알 수 없음'/'인간' 태그로 레이블링되었다.
• 주석 처리 과정에는 겹치는 발화 처리, 전문가 판단에 따라 음절을 그룹화하거나 분리하는 작업, 식별 불가능하거나 새 외의 소리가 포함된 녹음 자료의 제거가 포함되었다.
• 전체 687개의 녹음 자료 중 587개는 발화를 포함하고 있으며, 13개는 시각적 태그가 없어 약한 감독 학습에 활용될 수 있다.

실험 결과

연구 질문

• RQ1 종별 태그와 시각적 태그를 모두 갖춘 풍부하게 주석 처리된 데이터셋이 복잡한 자연 음향 환경에서 음성 이벤트 탐지 및 분류 모델의 성능을 향상시킬 수 있는가?
• RQ2 진정한 시각적 태그가 있는 데이터셋에서 평가할 때, 오직 오디오 태그로만 훈련된 모델의 효과성은 어떠한가?
• RQ3 이벤트 분할 방식(그룹화 대비 분리)이 다양하게 적용된 시각적 태그 전략이 모델의 강인성과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 여러 종의 새가 동시에 발화하는 경우 모델 성능에 어떤 영향을 미치며, 이 데이터셋은 그러한 복잡성을 다룰 수 있는 모델 훈련을 지원할 수 있는가?
• RQ5 NIPS4Bplus는 음성 이벤트 탐지 분야에서 다중 작업 학습 및 다중 인스턴스 학습 접근법을 평가하기 위한 벤치마크로 기능할 수 있는가?

주요 결과

• 데이터셋은 중앙 프랑스, 남중부 프랑스, 동부 안달루시아의 세 개의 서로 다른 지역에서 수집되어 지리적 및 생태학적 다양성을 확보하였다.
• 687개의 녹음 자료 중 587개는 새 발화를 포함하고 있으며, 13개는 시각적 태그가 없어 약한 감독 학습에 활용 가능하다.
• 한 번의 녹음에 1~6개의 활성 종이 포함되어 있으며, 13개의 녹음 자료는 배경 소음 또는 식별 불가능한 소음만 포함하고 있으며, 7개는 곤충 소음만 포함되어 있어 '알 수 없음'으로 레이블링되었다.
• 시각적 태그는 한 명의 전문 주석 처리자에 의해 생성되었으며, 청각적 판단에 따라 이벤트 경계가 다양하게 설정되어 있어 모델이 분할된 이벤트 표현과 연속된 이벤트 표현을 모두 학습할 수 있도록 하였다.
• 이 데이터셋은 시각적 레이블이 있는 완전한 감독 학습 설정과 태그만 있는 약한 감독 학습 설정을 모두 지원하여 모델의 훈련과 평가가 가능하다.
• 예시 응용 사례는 NIPS4Bplus가 다중 인스턴스 학습 손실 함수 및 음성 태깅과 이벤트 탐지에 적합한 다중 작업 학습 모델을 훈련시키는 데 유용함을 보여준다.