[논문 리뷰] Large-Scale Weakly Labeled Semi-Supervised Sound Event Detection in Domestic Environments

Romain Serizel, Nicolas Turpault외 2명|arXiv (Cornell University)|2018. 07. 27.

Music and Audio Processing참고 문헌 10인용 수 64

한 줄 요약

이 논문은 도메인 환경에서 대규모 약한 레이블링된 반감독 학습 음향 이벤트 검출(Sed)을 위한 DCASE 2018 Task 4를 제시한다. 이는 시간 경계가 없는 약한 레이블링된 클립의 소량과 유튜브에서 확보한 대규모의 레이블이 없는 오디오를 활용한다. 방법론은 두 단계로 구성된 CRNN 기반 접근법을 사용한다: 첫 번째 단계에서 약한 레이블을 기반으로 클립 수준의 분류기를 학습하고, 두 번째 단계에서 첫 번째 단계의 추론 결과를 바탕으로 생성한 가짜 레이블을 사용해 프레임 수준의 모델을 미세조정한다. 이로 인해 테스트 세트에서 매크로 F1 스코어가 14.06%에 도달하여, 시간 경계가 최소한으로 인간에 의해 레이블링된 데이터로도 반감독 학습이 가능함을 입증한다.

ABSTRACT

This paper presents DCASE 2018 task 4. The task evaluates systems for the large-scale detection of sound events using weakly labeled data (without time boundaries). The target of the systems is to provide not only the event class but also the event time boundaries given that multiple events can be present in an audio recording. Another challenge of the task is to explore the possibility to exploit a large amount of unbalanced and unlabeled training data together with a small weakly labeled training set to improve system performance. The data are Youtube video excerpts from domestic context which have many applications such as ambient assisted living. The domain was chosen due to the scientific challenges (wide variety of sounds, time-localized events.. .) and potential industrial applications .

연구 동기 및 목표

• 시간 경계가 레이블링된 데이터의 비용이 높은 현실 세계의 제약 조건을 반영하여, 최소한의 인간 레이블링된 시간 경계를 가진 상태에서도 작동할 수 있는 음향 이벤트 검출 시스템을 개발하는 것.
• 소량의 약한 레이블링된 클립과 대규모의 유튜브에서 확보한 레이블이 없는 오디오를 조합하여 반감독 학습의 효과성을 탐색하는 것.
• 레이블이 없는 데이터와 프레임 수준의 모델링을 활용해 음향 이벤트의 시간 경계 추정 성능을 향상시키는 것. 이는 SED에서 핵심 과제인 시간 경계 추정 향상에 기여한다.
• 다양한 지속시간과 겹치는 이벤트를 포함한 현실적인 불균형 데이터셋을 기반으로 시스템을 평가하는 것. 이 데이터셋은 주로 가정 환경의 음향 이벤트로 구성되어 있다.

제안 방법

• 두 단계로 구성된 딥 러닝 파이프라인을 사용한다: 첫 번째 단계에서 약한 레이블링된 클립(1,578개 클립)을 기반으로 CRNN을 학습하여 클립 수준에서 이벤트 존재 여부를 예측한다.
• 첫 번째 단계의 모델을 사용해 14,412개의 레이블이 없는 도메인 내 클립에 대해 가짜 레이블을 생성하고, 이를 두 번째 단계의 CRNN 학습에 활용하여 프레임 수준의 예측을 수행한다.
• 두 번째 단계의 모델은 프레임당 이벤트 확률을 출력하기 위해 시간 분포형 완전 연결층을 사용하며, 이는 정확한 발생 시점과 종료 시점 추정을 가능하게 한다.
• 프레임 수준의 출력을 부드럽게 하고 경계 정밀도를 향상시키기 위해 중앙값 필터링(51 프레임 ≈ 1초)을 적용한다.
• 모델은 조기 정지 기법을 사용하며, 평가 시에는 200ms의 콜라지 허용 오차를 적용한 매크로 평균 F1 스코어를 사용한다. 온셋에 대해서는 200ms 콜라지 허용 오차, 오프셋에 대해서는 이벤트 길이의 20%를 허용한다.
• 평가에는 sed_eval 툴박스를 사용하며, 이벤트 기반 메트릭을 적용하여 경계 오류에 대해 강한 페널티를 적용함으로써 정확한 위치 추정을 강조한다.

실험 결과

연구 질문

• RQ1 시간 경계 레이블링이 포함된 훈련 데이터의 비율이 매우 낮을 경우, 반감독 학습이 음향 이벤트 검출 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 유튜브에서 확보한 대규모의 레이블이 없는 오디오를 활용할 경우, SED에서 시간 경계 추정 정확도에 어떤 영향을 미치는가?
• RQ3 먼저 클립 수준 분류를 수행하고, 이후에 프레임 수준에서 보정하는 두 단계의 딥 러닝 접근법이, 약한 감독 기반의 기준 모델에 비해 경계 정확도 측면에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 다른 지속시간(예: 짧은 이벤트 대 긴 이벤트)을 가진 음향 이벤트 간 시스템 성능과 오류 패턴은 어떻게 달라지는가?
• RQ5 예를 들어 말이 많은 클립을 포함한 도메인 외부의 레이블이 없는 데이터를 포함할 경우, 목표로 하는 가정 환경 SED 작업의 성능은 향상되거나 저하되는가?

주요 결과

• 기준 시스템은 약한 레이블링된 데이터를 한 번 처리한 후 매크로 F1 스코어 7.51%를 기록하여 시간 경계 검출 성능이 제한적임을 시사한다.
• 두 번째 단계에서 가짜 레이블링된 레이블이 없는 데이터를 활용해 모델을 미세조정한 결과, 매크로 F1 스코어가 14.06%로 향상되었으며, 이는 반감독 학습의 유용성을 입증한다.
• 성능 향상이 가장 두드러진 이벤트는 ' Vacuum cleaner'(46.5% F1)와 'Electric shaver/toothbrush'(32.4% F1)와 같은 장시간 이벤트였으며, 'Cat'과 'Speech'와 같은 짧은 이벤트는 여전히 정확도가 낮았다.
• 짧은 이벤트에 대해 시스템은 심각한 어려움을 겪었으며, 'Cat', 'Dog', 'Speech'에 대해 거의 0에 가까운 F1 스코어를 기록했다. 이는 정확한 경계 추정의 어려움을 보여준다.
• 경계 오류에 대해 강한 페널티를 적용하는 메트릭의 특성으로 인해 짧은 이벤트의 스코어가 낮아졌으며, 이는 작은 발생 시점/종료 시점 오차조차도 거짓 양성과 거짓 음성 모두를 초래하기 때문이다.
• 결과는 시간 세그먼테이션 기술이 여전히 SED에서 주요 제약 요소이며, 현재의 부드러움 처리 기법만으로는 정확한 위치 추정이 불충분하다는 것을 확인한다.