[논문 리뷰] Sample Mixed-Based Data Augmentation for Domestic Audio Tagging

Shengyun Wei, Kele Xu외 4명|arXiv (Cornell University)|2018. 08. 12.

Music and Audio Processing참고 문헌 21인용 수 23

한 줄 요약

이 논문은 주로 CRNN에 주목하고, 주어진 데이터 증강 기법인 믹스업, 샘플페어링, 외삽을 기반으로 한 샘플 혼합 기반 데이터 증강 기법을 제안하여 도메인 내 음성 태깅에서 일반화 성능을 햖थ한다. DCASE 2016 Task 4 데이터셋에서 믹스업(α=1.5)은 기준 모델을 능가하는 최신 기술 수준의 동등 오류율(EER) 0.10을 달성하였으며, 더 뛰어난 안정성과 일반화 능력을 입증하였다.

ABSTRACT

Audio tagging has attracted increasing attention since last decade and has various potential applications in many fields. The objective of audio tagging is to predict the labels of an audio clip. Recently deep learning methods have been applied to audio tagging and have achieved state-of-the-art performance, which provides a poor generalization ability on new data. However due to the limited size of audio tagging data such as DCASE data, the trained models tend to result in overfitting of the network. Previous data augmentation methods such as pitch shifting, time stretching and adding background noise do not show much improvement in audio tagging. In this paper, we explore the sample mixed data augmentation for the domestic audio tagging task, including mixup, SamplePairing and extrapolation. We apply a convolutional recurrent neural network (CRNN) with attention module with log-scaled mel spectrum as a baseline system. In our experiments, we achieve an state-of-the-art of equal error rate (EER) of 0.10 on DCASE 2016 task4 dataset with mixup approach, outperforming the baseline system without data augmentation.

연구 동기 및 목표

• 소규모 데이터셋인 DCASE 2016에서 훈련 데이터가 제한됨에 따라 발생하는 과적합 문제를 해결하기 위해.
• 입력 시간-주파수 표현에 샘플 혼합 기반 데이터 증강 기법을 적용하여 모델의 일반화 성능을 향상시키기 위해.
• 믹스업, 샘플페어링, 외삽 기법이 음성 태깅 작업 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 성능과 안정성 향상을 위해 믹스업의 하이퍼파라미터 α 계수의 최적값을 도출하기 위해.
• 다양한 데이터 증강 전략이 소수의 클래스와 전체 모델의 강인성에 미치는 영향을 비교하기 위해.

제안 방법

• α로 매개변수화된 베타 분포를 사용하여 입력 공간에서 두 훈련 샘플을 선형으로 조합함으로써 믹스업 데이터 증강을 적용함.
• 하나의 음성 스펙트로그램을 다른 하나 위에 겹쳐 새로운 샘플을 생성하고, 첫 번째 샘플의 레이블을 유지함으로써 샘플페어링을 사용함.
• 학습 분포를 초월하는 샘플을 생성하여 다양성을 높이기 위해 외삽 기반 증강을 활용함.
• 특징 추출을 위해 7개의 합성곱 블록, 배치 정규화, 맥스 풀링, 드롭아웃, ELU 활성화 함수를 포함한 CRNN 아키텍처를 사용함.
• 관련 시간 세그먼트에 집중하고 노이즈 영향을 줄이기 위해 주목력 메커니즘을 통합함.
• 과적합을 방지하기 위해 검증 손실 기반 조기 정지와 함께 이진 교차 엔트로피 손실을 사용하여 모델을 훈련함.

실험 결과

연구 질문

• RQ1 샘플 혼합 기반 데이터 증강 기법이 소규모 데이터셋인 DCASE 2016 Task 4에서 음성 태깅의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 다른 샘플 혼합 방법(예: 샘플페어링, 외삽)과 비교할 때 믹스업의 성능 및 안정성은 어떠한가?
• RQ3 EER과 분산 측면에서 음성 태깅의 최적 α 하이퍼파라미터 값은 무엇인가?
• RQ4 다양한 증강 전략은 '성인 남성 어조(m)'와 같은 소수의 클래스 분류에 어떤 영향을 미치는가?
• RQ5 데이터 증강이 훈련 성능과 검증 성능 간 격차를 줄여 일반화 능력 향상에 기여하는가?

주요 결과

• 믹스업(α=1.5)은 DCASE 2016 Task 4 평가 세트에서 최신 기술 수준의 EER 0.10을 달성하여, 증강 없이 훈련된 기준 CRNN을 능가함.
• α=1.5일 때 믹스업 접근법은 EER의 분산이 4.11×10⁻³로 가장 낮아, 모델의 안정성이 뛰어남을 나타냄.
• 정밀 조정 없이 샘플페어링을 적용한 결과, 특히 '성인 남성 어조(m)'와 같은 소수의 클래스에서 성능이 열악했으며, 고정된 보간으로 인한 레이블 혼동이 원인임.
• α가 증가함에 따라 훈련 정확도는 감소했지만, 검증 손실은 α=1.5에서 최소가 되어 일반화 성능 향상이 확인됨.
• 믹스업가 적용되지 않은 모델에서는 에포크가 진행될수록 훈련 손실과 검증 손실 간 격차가 커져 과적합이 발생하는 것으로 나타남. 반면 믹스업는 이 격차를 감소시킴.
• 제안된 CRNN에 믹스업를 적용한 결과, 기준 모델(DAE-DNN, CGRNN, ATT-LOC)보다 더 뛰어난 일반화 성능을 보였으며, 각각 EER 0.15, 0.13, 0.13을 기록함.