[논문 리뷰] PSLA: Improving Audio Event Classification with Pretraining, Sampling, Labeling, and Aggregation.

Yuan Gong, Yu-An Chung외 1명|arXiv (Cornell University)|2021. 02. 02.

Music and Audio Processing인용 수 13

한 줄 요약

이 논문은 이미지넷 미사전학습, 균형 임의 추출, 데이터 증강, 레이블 향상, 모델 집합 기법을 포함하는 훈련 기법 프레임워크인 PSLA를 소개한다. 이는 음성 이벤트 분류 성능을 크게 향상시킨다. AudioSet에서 효율넷 모델에 이러한 방법들을 적용함으로써, PSLA는 기존 최고 성능인 0.439를 초월하는 새로운 최고 성능 mAP 0.474를 달성한다.

ABSTRACT

Audio event classification is an active research area and has a wide range of applications. Since the release of AudioSet, great progress has been made in advancing the classification accuracy, which mostly comes from the development of novel model architectures and attention modules. However, we find that appropriate training techniques are equally important for building audio event classification models with AudioSet, but have not received the attention they deserve. To fill the gap, in this work, we present PSLA, a collection of training techniques that can noticeably boost the model accuracy including ImageNet pretraining, balanced sampling, data augmentation, label enhancement, model aggregation and their design choices. By training an EfficientNet with these techniques, we obtain a model that achieves a new state-of-the-art mean average precision (mAP) of 0.474 on AudioSet, outperforming the previous best system of 0.439.

연구 동기 및 목표

• 음성 이벤트 분류에서 훈련 기법의 역할이 충분히 평가받지 못하고 있음에도 불구하고, 이들이 모델 성능에 미치는 영향이 크다는 점을 다루기 위해.
• AudioSet 벤치마크에서 모델 정확도를 크게 향상시킬 수 있는 핵심 훈련 구성 요소를 특정하고 평가하기 위해.
• 체계적인 훈련 개선이 아키텍처적 혁신만으로도 성능을 뛰어넘을 수 있음을 보여주기 위해.
• 실용적이고 효과적이며 재현 가능한 음성 이벤트 분류 모델 훈련 파이프라인을 구축하기 위해.

제안 방법

• 비전에서 음성 표현 학습으로의 전이 학습을 활용하여, 이미지넷 미사전학습을 통해 음성 모델의 백본을 초기화한다.
• 모든 음성 이벤트 클래스가 훈련 중에 균형 있게 표현되도록 하여 클래스 불균형 문제를 완화하기 위해 균형 임의 추출을 구현한다.
• 훈련 데이터 다양성을 증가시키고 일반화 성능을 향상시키기 위해 데이터 증강 기법을 적용한다.
• 가짜 레이블링 또는 신뢰도 필터링을 사용하여 약한 감독 레이블을 향상시켜 감독 품질을 개선한다.
• 여러 개의 훈련된 모델 간의 모델 집합을 통해 변동성을 줄이고 성능을 향상시킨다.
• 모든 기법을 통합한 유일한 파이프라인(PSLA)을 구성하고, mAP를 주요 평가 지표로 AudioSet 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 다양한 훈련 기법이 AudioSet에서 음성 이벤트 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ2 이미지넷에서의 미사전학습이 하류 음성 이벤트 분류를 위한 음성 표현 학습에 기여하는가?
• RQ3 균형 임의 추출과 데이터 증강이 모델 일반화 및 mAP 향상에 어느 정도 기여하는가?
• RQ4 레이블 향상과 모델 집합이 개별 기법을 초월해 성능을 추가로 향상시킬 수 있는가?
• RQ5 모든 기법을 하나의 훈련 파이프라인에 통합했을 때의 통합 효과는 어떠한가?

주요 결과

• 이미지넷 미사전학습, 샘플링, 레이블링, 집합 기법을 통합한 PSLA 프레임워크는 AudioSet 검증 세트에서 새로운 최고 성능 mAP 0.474를 달성한다.
• 이미지넷 미사전학습은 초기 특징 학습을 크게 향상시켜 수렴 속도 향상과 더 나은 성능 기여를 한다.
• 균형 임의 추출은 표현이 부족한 음성 이벤트 클래스에서의 성능 저하를 효과적으로 줄인다.
• 데이터 증강은 모델의 강인성과 일반화 능력을 향상시키며, 특히 자원이 제한된 상황에서 유의미한 효과가 있다.
• 레이블 향상은 AudioSet의 약한 레이블 데이터에 특히 효과적으로 감독 품질을 향상시킨다.
• 여러 훈련된 모델 간의 모델 집합은 일관된 성능 향상과 변동성 감소를 이끈다.