[논문 리뷰] Guided Learning Convolution System for DCASE 2019 Task 4

Liwei Lin, Xiangdong Wang외 2명|arXiv (Cornell University)|2019. 09. 11.

Music and Audio Processing참고 문헌 12인용 수 4

한 줄 요약

이 논문은 약한 레이블이 붙은 데이터와 레이블이 없는 데이터를 사용하여 가정 환경에서 약한 감독 및 준감독 학습을 위한 가이드드 러닝 컨볼루션 신경망 시스템을 제안한다. 임베딩 수준의 어텐션 풀링, 분리된 특징 학습, 적응형 중앙값 필터링을 통합함으로써, 모델은 DCASE2019 테스트 세트에서 42.7%의 이벤트 기반 F-측정치를 달성하여 챌린지에서 모든 참가자들보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we describe in detail the system we submitted to DCASE2019 task 4: sound event detection (SED) in domestic environments. We employ a convolutional neural network (CNN) with an embedding-level attention pooling module to solve it. By considering the interference caused by the co-occurrence of multiple events in the unbalanced dataset, we utilize the disentangled feature to raise the performance of the model. To take advantage of the unlabeled data, we adopt Guided Learning for semi-supervised learning. A group of median filters with adaptive window sizes is utilized in the post-processing of output probabilities of the model. We also analyze the effect of the synthetic data on the performance of the model and finally achieve an event-based F-measure of 45.43% on the validation set and an event-based F-measure of 42.7% on the test set. The system we submitted to the challenge achieves the best performance compared to those of other participates.

연구 동기 및 목표

• 약한 레이블이 붙은 및 레이블이 없는 오디오 데이터를 사용하여 대규모의 가정 환경에서 사운드 이벤트 검출 문제를 해결하기 위해.
• 공존하는 사운드 이벤트가 있는 비균형 데이터셋에서 성능을 향상시키기 위해 분리된 특징 학습을 통해 간섭을 줄이기 위해.
• 가이드드 러닝 프레임워크를 활용하여 약한 감독 및 준감독 학습을 효과적으로 통합하기 위해.
• 이벤트 지속 시간 특성에 기반하여 경계 검출 정확도를 향상시키는 적응형 후처리 방법을 개발하기 위해.
• 강한 레이블이 붙은 합성 훈련 세트의 영향을 모델의 일반화 능력과 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 고수준 특징에서 클립 수준 및 프레임 수준 예측을 생성하기 위해 임베딩 수준의 어텐션 풀링을 적용한 CNN 모델을 사용하여 약한 감독 학습을 가능하게 한다.
• 어텐션 메커니즘은 가중치 벡터와 바이어스를 통해 프레임 단위의 가중치를 계산하여 각 이벤트 클래스에 대해 핵심 오디오 프레임에 집중할 수 있도록 한다.
• 공존하는 이벤트로 인한 간섭을 줄이기 위해 분리된 특징 학습을 적용하여 다중 이벤트 상황에서의 강건성을 향상시킨다.
• 준감독 학습을 위해 가이드드 러닝을 활용하여 레이블이 없는 데이터를 활용해 일반화 능력을 향상시킨다.
• 이벤트 지속 시간에 따라 다양한 창 크기를 가진 적응형 중앙값 필터링을 출력 확률에 적용하여 이벤트 경계 검출 정확도를 향상시킨다.
• 합성 훈련 세트는 약한 레이블이 붙은 데이터로 간주되며, 성능에 미치는 영향을 평가하기 위해 추론 실험을 통해 평가된다.

실험 결과

연구 질문

• RQ1 타임스탬프 레이블이 없는 약한 레이블이 붙은 오디오 데이터로부터 딥 러닝 모델이 효과적으로 학습할 수 있는 방법은 무엇인가?
• RQ2 겹치는 사운드 이벤트가 존재하는 비균형 데이터셋에서 모델 성능을 향상시키는 방법은 무엇인가?
• RQ3 가이드드 러닝이 약한 레이블이 붙은 데이터와 레이블이 없는 데이터를 효과적으로 통합하여 준감독 학습에서 성능 향상을 이끌 수 있는가?
• RQ4 다양한 지속 시간을 가진 이벤트에 대해 적응형 후처리를 통해 중앙값 필터링을 적용하면 경계 검출 정확도가 향상되는가?
• RQ5 강한 레이블이 붙은 합성 훈련 세트를 포함시킴으로써 약한 감독 또는 준감독 학습 환경에서 성능 향상이 이루어지는가?

주요 결과

• 제안된 시스템은 DCASE2019 테스트 세트에서 이벤트 기반 F-측정치 42.7%를 달성하여 챌린지에서 1등을 차지하였다.
• 상위 6개 모델의 앙상블(Ensemble Top1-6)은 베이스라인 대비 21.73% 포인트 향상된 성능을 기록하였다.
• 약한 레이블이 붙은 데이터와 레이블이 없는 데이터를 모두 사용한 가이드드 러닝을 적용한 모델은 레이블이 없는 데이터를 사용하지 않은 모델보다 20.67% 포인트 높은 성능을 보였다.
• 합성 훈련 세트는 약한 감독 학습에서만 사용할 경우 도움이 되지 않았지만, 준감독 학습과 함께 사용할 경우 F1 점수를 5~8점 향상시켜 성능 향상에 기여하였다.
• 분리된 특징 학습 또는 고정 창 크기의 중앙값 필터링을 제거하면 성능이 떨어지며, 이는 이 방법들이 효과적임을 확인한다.
• 모델는 유튜브 데이터셋에선 최고의 성능을 기록했지만 비메오 데이터셋에선 성능이 열등하여, 피치 시프팅과 같은 데이터 증강 기법이 유용할 수 있음을 시사한다.