[논문 리뷰] EnvGAN: Adversarial Synthesis of Environmental Sounds for Data Augmentation

Aswathy Madhu, Suresh Kumaraswamy|arXiv (Cornell University)|2021. 04. 15.

Music and Audio Processing참고 문헌 34인용 수 4

한 줄 요약

이 논문은 환경 음향 분류(ESC)에서 데이터 부족 문제를 해결하기 위해 최초로 환경 음향을 악성 합성하기 위한 생성적 적대적 네트워크(GAN)인 EnvGAN을 소개한다. 시간 도메인에서 다양한 실재감 있는 오디오 샘플을 생성함으로써 EnvGAN은 분류기 성능을 크게 향상시키며, ESC-10, UrbanSound8K, TUT Urban Acoustic Scenes 2018 데이터셋에서 최신 기술을 초월하여 정확도 향상을 각각 0.965, 0.9897, 0.73까지 기록한다.

ABSTRACT

The research in Environmental Sound Classification (ESC) has been progressively growing with the emergence of deep learning algorithms. However, data scarcity poses a major hurdle for any huge advance in this domain. Data augmentation offers an excellent solution to this problem. While Generative Adversarial Networks (GANs) have been successful in generating synthetic speech and sounds of musical instruments, they have hardly been applied to the generation of environmental sounds. This paper presents EnvGAN, the first ever application of GANs for the adversarial generation of environmental sounds. Our experiments on three standard ESC datasets illustrate that the EnvGAN can synthesize audio similar to the ones in the datasets. The suggested method of augmentation outshines most of the futuristic techniques for audio augmentation.

연구 동기 및 목표

• 딥 러닝 응용 분야에서 주요한 장벽이 되는 환경 음향 분류(ESC)의 데이터 부족 문제를 해결하기 위해.
• 정확한 의미 정보를 유지하는 실재감 있는 환경 음향을 합성하기 위한 새로운 GAN 기반 방법을 개발하기 위해.
• GAN을 통해 생성된 데이터가 환경 음향 분류 모델의 일반화 능력과 내구성 향상에 대한 증강 전략으로서의 효과를 평가하기 위해.
• EnvGAN이 전통적 및 최신의 데이터 증강 기법보다 ESC 작업에서 성능 면에서 뛰어나다는 것을 입증하기 위해.
• 추가 성능 향상을 위해 클래스 조건부 증강의 잠재력을 탐색하기 위해.

제안 방법

• 실제 오디오 웨이브폼의 잠재 분포를 학습함으로써 시간 도메인에서 환경 음향을 생성하는 GAN 아키텍처(EnvGAN)를 제안한다.
• 생성기로 깊이 있는 합성곱 신경망(CNN)을 사용하고, 진짜와 생성된 오디오 샘플을 구분하기 위한 판별 네트워크를 적용한다.
• 실제 데이터와 생성된 데이터의 분포 간 제닝-슐라인 분산을 최소화하는 것을 목표로, 최소-최대 손실 함수를 사용해 생성기와 판별기를 동시에 훈련시킨다.
• 훈련된 EnvGAN을 활용해 실제 훈련 세트에 추가할 수 있는 합성 오디오 샘플을 생성하고, 이를 데이터 증강에 활용한다.
• 기본 분류기로 고성능 CNN 모델을 사용하고, 원본 및 증강된 데이터 세트에서의 성능 평가를 위해 미세 조정을 수행한다.
• 검증 세트를 활용해 클래스별 증강 효과를 식별함으로써 성능 기반의 선택적 데이터 증강을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근법이 의미 레이블을 유지하면서도 실재감 있는 환경 음향을 효과적으로 생성할 수 있는가?
• RQ2 GAN 기반 데이터 증강이 환경 음향 분류에서 딥 러닝 모델의 일반화 능력과 정확도 향상에 기여하는가?
• RQ3 EnvGAN이 생성한 데이터는 기준 데이터셋에서 전통적 및 최신의 오디오 증강 기법과 비교해 성능 면에서 어떻게 다른가?
• RQ4 어느 클래스가 GAN 기반 증강에서 가장 유리하거나 가장 불리한가? 그리고 클래스 조건부 증강이 추가로 성능 향상에 기여할 수 있는가?
• RQ5 EnvGAN은 합성 샘플 생성을 통해 UrbanSound8K와 같은 클래스 불균형 데이터셋을 효과적으로 다룰 수 있는가?

주요 결과

• EnvGAN은 ESC-10, UrbanSound8K, TUT Urban Acoustic Scenes 2018 데이터셋의 실제 샘플과 청각적으로 유사한 환경 음향을 성공적으로 생성하였다.
• 제안된 방법은 ESC-10에서 테스트 정확도 0.965를 달성하였으며, 이는 이전 최신 기술보다 0.0155 높은 성능이다.
• UrbanSound8K에서는 정확도 0.9897을 기록하여, 다음으로 우수한 방법보다 0.0145 높은 성능을 보였다.
• TUT Urban Acoustic Scenes 2018 데이터셋에서는 정확도 0.73을 달성하여 더 복잡하고 다양한 데이터셋에서도 강력한 성능을 입증하였다.
• 증강 처리로 일부 클래스 간 혼동(예: sea_waves와 rain)은 감소했지만, 다른 클래스 간 혼동(예: sea_waves와 person_sneeze)은 증가하여 클래스별 영향을 보였다.
• 클래스 불균형 데이터셋에서 가장 뚜렷한 성능 향상을 보였으며, 이는 EnvGAN이 데이터 불균형 문제 완화에 효과적이라는 것을 확인시켰다.