[논문 리뷰] Data-Efficient Weakly Supervised Learning for Low-Resource Audio Event Detection Using Deep Learning

Veronica Morfi, Dan Stowell|arXiv (Cornell University)|2018. 07. 17.

Music and Audio Processing인용 수 19

한 줄 요약

이 논문은 새로운 다중 인스턴스 학습(MIL) 손실 함수를 사용하여 자료 효율적이고 약한 감독을 받는 딥 러닝 방법을 제안한다. 이는 저자원 음성 이벤트 탐지에 적합하다. 최대, 평균, 최소 풀링을 통합한 손실(MMM)을 통해 기존의 잘못된 강한 레이블링이나 최대값만을 사용하는 손실과 비교해 순발력 있는 이벤트와 희귀 이벤트의 탐지 성능을 향상시켜 두 개의 저자원 데이터셋에서 높은 F1 점수를 달성한다.

ABSTRACT

We propose a method to perform audio event detection under the common constraint that only limited training data are available. In training a deep learning system to perform audio event detection, two practical problems arise. Firstly, most datasets are "weakly labelled" having only a list of events present in each recording without any temporal information for training. Secondly, deep neural networks need a very large amount of labelled training data to achieve good quality performance, yet in practice it is difficult to collect enough samples for most classes of interest. In this paper, we propose a data-efficient training of a stacked convolutional and recurrent neural network. This neural network is trained in a multi instance learning setting for which we introduce a new loss function that leads to improved training compared to the usual approaches for weakly supervised learning. We successfully test our approach on two low-resource datasets that lack temporal labels.

연구 동기 및 목표

• 시간 경계 정보가 없는 제한된 약한 레이블 데이터(예: 타임스탬프 없음)만 제공될 때 정확한 음성 이벤트 탐지기 학습의 과제를 해결한다.
• 모든 양성 레코드의 프레임을 모두 양성으로 예측하게 만드는 잘못된 강한 레이블링의 한계를 극복한다. 이는 일반화 능력 저하를 초래한다.
• 약한 레이블로부터 이벤트의 시간 구조를 더 잘 포착할 수 있도록 다중 인스턴스 학습 환경에서 새로운 손실 함수를 개발한다.
• 모든 인스턴스에서의 기울기 신호를 활용함으로써 희귀하거나 짧은 지속시간의 이벤트 탐지 성능을 향상시킨다. 이는 단지 가장 활성화된 인스턴스만을 고려하는 것과 대비된다.
• 두 가지 벤치마크 데이터셋을 사용하여 다양한 음성 이벤트 유형과 저자원 환경에서의 일반화 능력을 입증한다.

제안 방법

• 각 음성 레코딩을 '백'으로 간주하고, 시간 프레임을 '인스턴스'로 간주하여 음성 이벤트 탐지를 다중 인스턴스 학습(MIL) 문제로 재구성한다. 약한 레이블은 시간 경계 없이 클래스 존재 여부를 나타낸다.
• 백 내의 인스턴스들 간 최대 활성도(최대), 평균 활성도(평균), 최소 활성도(최소)를 조합한 새로운 손실 함수 MMM을 제안한다.
• 스택드 컨volution 및 순환 신경망(CNN-RNN) 아키텍처를 사용하여 계층적 특징을 추출하고 음성 내의 시간적 의존성을 모델링한다.
• MMM 손실을 사용하여 모델을 훈련함으로써 두드러진 이벤트뿐 아니라 미세한 이벤트도 탐지하도록 유도하고, 가장 두드러진 인스턴스에 과적합되는 것을 방지한다.
• 손실 구성 요소를 통해 암묵적으로 주목력 메커니즘을 적용하여 관련 이벤트 세그먼트에 집중하면서도, 낮은 진폭이나 짧은 지속시간의 이벤트에 대한 민감도를 유지한다.
• 모델을 Adam으로 최적화하며, MMM 조합 예측에 대해 이진 교차 엔트로피 손실을 사용하여 약한 레이블로부터 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 약한 레이블만 있는 저자원 환경에서 다중 인스턴스 학습 환경에서 새로운 손실 함수가 음성 이벤트 탐지 성능을 향상시킬 수 있는가?
• RQ2 손실 함수에 평균 및 최소 활성도 구성 요소를 포함함으로써 기존의 최대값만 사용하는 손실과 비교해 희귀하거나 짧은 지속시간의 이벤트 탐지에 어떤 영향을 미치는가?
• RQ3 제안된 MMM 손실은 잘못된 강한 레이블링에서 관찰되는 바와 같이, 양성 레코드의 모든 예측을 0.5 이상으로 밀어내는 경향을 줄이는가?
• RQ4 다양한 유형의 음성 이벤트(예: 새 울음, 영장류 울음 등)에 대해 저자원 환경에서 모델의 일반화 능력은 어떻게 되는가?
• RQ5 기존의 약한 감독 기반 기준선 대비 저자원 음성 탐지 벤치마크에서 더 높은 F1 점수를 달성할 수 있는가?

주요 결과

• NIPS4B 및 DCASE 2018 데이터셋에서 MMM 손실은 잘못된 강한 레이블링과 표준 최대값만 사용하는 손실보다 F1 점수에서 뛰어난 성능을 보였다.
• qualitative 비교를 통해 MMM 손실로 훈련된 모델은 최대값만 사용하는 손실이 두드러진 이벤트 사이의 이벤트를 간과하는 것과 대비해 더 미세하고 짧은 지속시간의 이벤트를 더 잘 탐지함을 확인했다.
• 손실 함수에 평균 항목을 포함함으로써 특히 후반 에포크에서 더 높고 안정적인 F1 점수가 유지되었다.
• MMM 손실로 훈련된 모델는 잘못된 강한 레이블링에서 관찰되는 바와 같이, 양성 레코드의 모든 예측을 0.5 이상으로 올리는 경향을 피했다.
• 강한 시간 경계 애너테이션을 요구하지 않기 때문에 이는 저자원 음성 이벤트 탐지 작업에 적합하다.
• 새로운 방법은 새 울음과 영장류 울음 탐지 작업 모두에서 다양한 음성 이벤트 유형에 대해 잘 일반화됨을 입증했다.