[논문 리뷰] A Multi-modal Deep Neural Network approach to Bird-song identification

Botond Fazeka, Alexander Schindler외 2명|arXiv (Cornell University)|2018. 11. 11.

Animal Vocal Communication and Behavior참고 문헌 4인용 수 13

한 줄 요약

이 논문은 음향 스펙트로그램과 환경 메타데이터(위도, 경도, 고도, 일일 시간대)를 융합하는 다중 모odal 딥 네트워크를 제안한다. 스펙트로그램 처리에 CNN을, 메타데이터 처리에 완전 연결층을 사용한 모델은 BirdCLEF 2017 챌린지에서 최고 성능을 기록하였으며, 배경 종이 포함된 전통적 기록에서는 평균 정밀도(MAP)가 0.579였고, 시간 코드가 부여된 음향 스케이프에서는 0.142였다.

ABSTRACT

We present a multi-modal Deep Neural Network (DNN) approach for bird song identification. The presented approach takes both audio samples and metadata as input. The audio is fed into a Convolutional Neural Network (CNN) using four convolutional layers. The additionally provided metadata is processed using fully connected layers. The flattened convolutional layers and the fully connected layer of the metadata are joined and fed into a fully connected layer. The resulting architecture achieved 2., 3. and 4. rank in the BirdCLEF2017 task in various training configurations.

연구 동기 및 목표

• 장소, 시간대, 고도와 같은 맥락적 메타데이터를 하나의 딥 러닝 모델에 통합하여 새 노랫소리 식별 성능을 향상시키기 위해.
• 생물다양성 모니터링에서 노이즈가 많고 길이가 변동되는 현장 기록의 과제를 해결하기 위해 강건한 음성 분할 및 데이터 증강 기법을 개발하기 위해.
• 특히 공간적 및 시간적 메타데이터가 새 음성 인식 분류 성능에 미치는 영향을 평가하기 위해.
• 데이터 증강, 스펙트로그램 마스킹, 다중 해상도 입력 처리를 활용하여 모델 훈련 및 추론 최적화를 위해.
• 음향 기반 생물다양성 모니터링을 위한 딥 러닝 모델에서 시간 해상도와 주파수 해상도 간의 상호 트레이드오���을 탐색하기 위해.

제안 방법

• 음향 기록은 256 또는 512 FFT 윈도우 크기와 50% 겹침을 사용한 STFT를 통해 80밴드 멜 스케일 스펙트로그램으로 변환된다.
• 음향 및 노이즈 세그먼트는 중앙값 기반 임계값 설정 방법을 사용한 후 침식 및 팽창과 같은 형태학적 연산을 통해 스펙트로그램 마스크를 정제한다.
• 좌표, 고도, 일일 시간대 등의 메타데이터는 누락 값에 대한 플래그와 함께 정규화된 [0,1] 범위의 7요소 벡터로 인코딩된다.
• 스펙트로그램 입력(80×512)은 지수선형단위(ELU) 활성화 함수와 최대풀링을 사용한 4개의 합성곱층을 거친 후 드롭아웃(0.4)을 적용한다.
• 메타데이터는 100개의 뉴런을 가진 완전 연결층을 거치며, 압축된 CNN 특징와 메타데이터 특징가 연결되어 최종 완전 연결층에 입력된다.
• 데이터 증강 기법으로는 노이즈 오버레이(최대 4개 샘플, ±10% 볼륨), 동일 클래스 음성 혼합(70% 확률, 20–60% 감쇠), 이웃 지역의 이종 오디오 오버레이(30% 확률, 30%±5% 감쇠)가 포함된다.

실험 결과

연구 질문

• RQ1 위도, 경도, 고도, 일일 시간대 등의 메타데이터 통합이 음향 전용 모델 대비 새 노랫소리 분류 정확도에 어떤 영향을 미치는가?
• RQ2 스펙트로그램 기반 딥 러닝을 통한 새 노랫소리 인식에서 주파수 해상도(FFT 크기)와 시간 해상도 사이의 최적 균형은 무엇인가?
• RQ3 특히 노이즈와 이종 오디오 오버레이를 포함한 데이터 증강 전략이 실제 현장 기록에서의 모델 일반화 능력 향상에 얼마나 효과적인가?
• RQ4 긴 지속시간, 노이즈가 많거나 파편화된 기록(예: 시간 코드가 부여된 음향 스케이프) 상황에서 다중 모달 학습이 음향 전용 모델을 능가하는가?
• RQ5 예측을 평균화하는 모델 앙상블(예: 서로 다른 FFT 설정을 사용한 예측 조합)이 다양한 평가 과제에서 성능 향상에 기여하는가?

주요 결과

• 모델은 배경 종이 포함된 BirdCLEF 2017 전통적 기록(배경 종 포함 MAP) 과제에서 평균 정밀도(MAP) 0.579를 기록하여 모든 제출물 중 1위를 차지했다.
• 시간 코드가 부여된 시간-coded 음향 스케이프(MAP w TC) 과제에서는 MAP 0.142를 기록하여 3위를 기록하였으며, 이는 복잡하고 장시간 지속되는 기록에서도 뛰어난 성능을 보임을 시사한다.
• 초기 90% 훈련 후 전체 데이터셋으로 훈련된 Cynapse Run 3는 배경 종이 없는 전통적 기록(MAP o MS) 과제에서 최고의 MAP 0.514를 기록하여 2위를 기록했다.
• 앙상블 모델인 Cynapse Run 4는 Run 2(512 FFT)와 Run 3(256 FFT)의 예측을 조합하여 전통적 기록 과제에서 최고의 전반적 성능을 기록하였으며, MAP 0.579를 달성했다.
• ELU 활성화 함수의 사용으로 ReLU 대비 훈련 시간이 약 300% 감소하였으며, 유사한 정확도를 유지하면서 배치 정규화의 필요성을 제거하였다.
• 모델는 메타데이터 누락에 대해 강건함을 보였으며, 특징는 이진 플래그로 표시되었고, 일부 메타데이터가 누락된 경우에도 성능 유지가 가능했다.