[논문 리뷰] AudRandAug: Random Image Augmentations for Audio Classification

Teerath Kumar, Muhammad Turab외 3명|arXiv (Cornell University)|2023. 09. 09.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 음성 분류를 위한 새로운 데이터 증강 방법인 AudRandAug를 제안한다. 이 방법은 음성 전용 변환 작업으로 구성된 철저히 검토된 검색 공간에서 최적의 증강 기법을 선별함으로써 RandAug 프레임워크를 음성 데이터에 적응시킨다. 이는 커스터마이즈된 CNN을 사용할 때 FSDD에서 5.16% 향상되고 UrbanSound8K에서 2.97% 향상되며, 사전 훈련된 VGG 모델을 사용할 때는 FSDD에서 3.00% 향상되고 UrbanSound8K에서 2.26% 향상되어 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Data augmentation has proven to be effective in training neural networks. Recently, a method called RandAug was proposed, randomly selecting data augmentation techniques from a predefined search space. RandAug has demonstrated significant performance improvements for image-related tasks while imposing minimal computational overhead. However, no prior research has explored the application of RandAug specifically for audio data augmentation, which converts audio into an image-like pattern. To address this gap, we introduce AudRandAug, an adaptation of RandAug for audio data. AudRandAug selects data augmentation policies from a dedicated audio search space. To evaluate the effectiveness of AudRandAug, we conducted experiments using various models and datasets. Our findings indicate that AudRandAug outperforms other existing data augmentation methods regarding accuracy performance.

연구 동기 및 목표

• RandAug 스타일의 체계적인 데이터 증강 방법이 음성 데이터에 맞게 부족한 점을 보완하기 위해.
• 효과적인 증강을 통해 훈련 데이터의 다양성을 높임으로써 음성 분류 모델의 일반화 능력과 내성 강도를 향상시키기 위해.
• 특정 음성 증강 기법을 식별하고, 전용 검색 공간에 포함시키기 위해.
• 다양한 모델과 데이터셋에서 기존의 데이터 증강 기법들과 비교하여 AudRandAug의 우수성을 검증하기 위해.
• 향후 음성 표현 학습 분야의 연구 및 적용을 위해 재사용 가능한 오픈소스 구현을 제공하기 위해.

제안 방법

• 12개의 음성 전용 증강 작업으로 구성된 검색 공간을 정의함으로써 RandAug 프레임워크를 음성 데이터에 적응시키기. 이는 소음 주입, 톤 이동, 시간 스트레칭, 클리핑, 뒤집기, 밴드패스 필터링, 감도 조절, 시간 마스킹 등을 포함한다.
• 훈련 중에 검색 공간에서 무작위로 증강 정책을 적용하며, 고정된 수의 작업(r=2)을 선택하고, 사전 정의된 범위에서 무작위로 크기를 샘플링한다.
• 멜스펙트로그램으로 변환하기 전에 원시 음성 신호를 사전 처리함으로써, 특징 수준의 증강보다 신호 수준의 증강이 더 높은 성능을 내기 때문이다.
• 멜스펙트로그램을 32×32 크기로 리사이징하여 컨볼루션 신경망과 호환되는 이미지 유사 입력 형식을 유지한다.
• 모든 증강이 미분 가능하고 일관되게 적용되도록, AudRandAug를 모델 훈련 이전의 전처리 단계로 통합한다.
• 실험적 평가 기반으로 효과가 없는 증강 기법(예: 성능 향상이 없었던 패딩)을 제외한 검색 공간을 구성한다.

실험 결과

연구 질문

• RQ1 적절한 음성 전용 증강 작업로 구성된 검색 공간을 정의함으로써, RandAug 철학이 음성 데이터에 효과적으로 적용될 수 있는가?
• RQ2 다양한 데이터셋과 모델에서 어떤 음성 증강 기법이 분류 정확도 향상에 가장 큰 기여를 하는가?
• RQ3 다양한 음성 분류 작업에서 기준 데이터 증강 방법과 비교해 AudRandAug는 정확도와 일반화 능력 측면에서 어떻게 성과를 내는가?
• RQ4 AudRandAug는 커스터마이즈된 모델뿐 아니라 사전 훈련된 모델(예: VGG)에도 성능 향상을 유지하는가?
• RQ5 검토된 음성 증강 공간에서의 무작위 탐색이 수작업 또는 히우리스틱 증강 전략을 능가하는가?

주요 결과

• 커스터마이즈된 CNN을 사용할 때 AudRandAug는 자유 발화 숫자 데이터셋(FSDD)에서 기준보다 5.16% 정확도가 향상되어, 다른 개별 증강 기법들보다 뛰어난 성능을 보였다.
• UrbanSound8K 데이터셋에서 AudRandAug는 커스터마이즈된 CNN을 사용할 때 기준보다 1.37% 정확도가 향상되어, 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• 사전 훈련된 VGG 모델을 사용할 때 AudRandAug는 FSDD에서 2.97% 정확도가 향상되었고, UrbanSound8K에서는 2.26% 향상되어, 다양한 아키텍처에서의 효과성을 확인했다.
• 소음 주입, 톤 이동, 시간 스트레칭과 같은 개별 증강 기법들보다도 AudRandAug가 모든 기법을 초월하는 성능을 보였다. 이는 각각의 기법이 개별적으로도 더 작은 향상률을 보였기 때문이다.
• 성능 향상이 없었던 패딩과 같은 비효율적인 방법은 검색 공간에서 제외되었으며, 이는 높은 성능을 내는 증강 기법들만 포함되도록 공간을 정제한 결과였다.
• 멜스펙트로그램 변환 이전의 신호 수준에서의 증강이 특징 수준의 증강보다 더 좋은 결과를 내었으며, 이는 전처리 파이프라인 설계의 타당성을 입증한다.