[논문 리뷰] Self-training with noisy student model and semi-supervised loss function for dcase 2021 challenge task 4

Nam Kyun Kim, Hong Kook Kim|arXiv (Cornell University)|2021. 07. 06.

Music and Audio Processing참고 문헌 14인용 수 10

한 줄 요약

이 논문은 DCASE 2021 챌린지 과제 4의 다성분 음향 이벤트 검출을 위한 이중 단계 자기학습 프레임워크를 제안한다. 평균 교사 모델을 사용해 약한 레이블과 레이블이 없는 데이터에 대해 가짜 레이블을 생성한 후, 데이터 증강과 준감독 손실 함수를 사용해 훈련하는 노이즈 있는 학생 모델을 적용한다. 반복적인 개선과 앙상블 모델링을 통해 강력한 성능을 달성하였으며, 자원이 제한된 SED 환경에서 가짜 레이블링과 노이즈 주입의 효과를 입증한다.

ABSTRACT

This report proposes a polyphonic sound event detection (SED) method for the DCASE 2021 Challenge Task 4. The proposed SED model consists of two stages: a mean-teacher model for providing target labels regarding weakly labeled or unlabeled data and a self-training-based noisy student model for predicting strong labels for sound events. The mean-teacher model, which is based on the residual convolutional recurrent neural network (RCRNN) for the teacher and student model, is first trained using all the training data from a weakly labeled dataset, an unlabeled dataset, and a strongly labeled synthetic dataset. Then, the trained mean-teacher model predicts the strong label to each of the weakly labeled and unlabeled datasets, which is brought to the noisy student model in the second stage of the proposed SED model. Here, the structure of the noisy student model is identical to the RCRNN-based student model of the mean-teacher model in the first stage. Then, it is self-trained by adding feature noises, such as time-frequency shift, mixup, SpecAugment, and dropout-based model noise. In addition, a semi-supervised loss function is applied to train the noisy student model, which acts as label noise injection. The performance of the proposed SED model is evaluated on the validation set of the DCASE 2021 Challenge Task 4, and then, several ensemble models that combine five-fold validation models with different hyperparameters of the semi-supervised loss function are finally selected as our final models.

연구 동기 및 목표

• 약한 레이블이 부족한 다성분 음향 이벤트 검출(SED) 문제를 해결하기 위해 약한 레이블과 레이블이 없는 데이터를 활용한다.
• 평균 교사와 노이즈 있는 학생 아키텍처를 결합한 이중 단계 훈련 파이프라인을 통해 SED 성능을 향상시킨다.
• 데이터 증강과 준감독 손실 함수의 융합이 약한 감독 SED에서 가짜 레이블을 정교화하는 데 얼마나 효과적인지 조사한다.
• 복잡한 시간적 및 주파수적 패턴을 효과적으로 모델링하기 위해 잔차 컨볼루션 순환 신경망(RCRNN) 기반의 강력한 모델 아키텍처를 개발한다.
• 준감독 손실 함수의 다양한 초모수 설정에 걸쳐 앙상블 학습을 통해 모델 일반화 능력을 최적화한다.

제안 방법

• 모든 가용 데이터(약한 레이블, 레이블이 없는 데이터, 합성 강한 레이블 데이터 포함)를 대상으로 RCRNN 기반의 평균 교사 모델을 먼저 훈련한다.
• 훈련된 평균 교사 모델이 약한 레이블과 레이블이 없는 데이터에 대해 강력한 가짜 레이블을 생성하여 두 번째 단계에서의 지도 학습을 지원한다.
• 평균 교사 설정에서의 학생과 동일한 구조를 가진 노이즈 있는 학생 모델을 초기화하고, 가짜 레이블 데이터를 기반으로 자기학습을 수행한다.
• 노이즈 있는 학생 훈련 중 특징 수준의 데이터 증강 기법—시간-주파수 이동, mixup, SpecAugment, 드롭아웃 기반 모델 노이즈—를 적용한다.
• 준감독 손실 함수를 사용해 레이블 노이즈를 주입함으로써 자기학습 과정에서의 강인성과 일반화 능력을 향상시킨다.
• 다양한 준감독 손실 초모수를 가진 5중 교차 검증 모델을 앙상블하여 최종 모델을 도출한다.

실험 결과

연구 질문

• RQ1 다성분 SED 환경에서 평균 교사 모델이 약한 레이블과 레이블이 없는 데이터에 대해 신뢰할 수 있는 가짜 레이블을 효과적으로 생성할 수 있는가?
• RQ2 다양한 데이터 증강 기법의 융합이 자원이 제한된 SED 환경에서 노이즈 있는 학생 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ3 가짜 레이블링과 노이즈 주입과 결합된 준감독 손실 함수가 모델 강인성에 얼마나 기여하는가?
• RQ4 다른 준감독 손실 초모수를 가진 모델들 간의 앙상블 학습이 DCASE 2021 검증 세트에서 최종 SED 성능을 향상시키는가?
• RQ5 제한된 강한 레이블 데이터만 존재할 경우, 이중 단계 자기학습 프레임워크가 표준 감독 기반 베이스라인을 능가할 수 있는가?

주요 결과

• 제안된 이중 단계 프레임워크는 가짜 레이블링을 통해 레이블이 없는 데이터와 약한 레이블 데이터를 효과적으로 활용함으로써 SED 성능을 크게 향상시켰다.
• 시간-주파수 이동, mixup, SpecAugment, 드롭아웃 등의 다수의 데이터 증강 기법을 활용함으로써 모델의 강인성과 일반화 능력이 향상되었다.
• 준감독 손실 함수는 효과적으로 레이블 노이즈 주입 기능을 수행하여 모델의 안정성과 성능을 향상시켰다.
• 다양한 준감독 손실 초모수를 가진 5중 교차 검증 모델을 앙상블한 결과, DCASE 2021 검증 세트에서 최고의 성능을 기록하였다.
• 평균 교사 모델은 효과적인 자기학습을 가능하게 하는 고품질의 가짜 레이블을 성공적으로 생성하였다.
• RCRNN 기반 아키텍처는 다성분 음향 이벤트의 복잡한 시간적 및 주파수적 패턴을 효과적으로 포착하는 데 강력한 성능을 보였다.