[논문 리뷰] Sinusoidal wave generating network based on adversarial learning and its application: synthesizing frog sounds for data augmentation

Sangwook Park, David K. Han외 1명|arXiv (Cornell University)|2019. 01. 07.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 적대적 학습을 사용하여 실제적인 개구리 울음소리를 합성하기 위한 사인파 생성 네트워크를 제안한다. 싸인파 성분에 대해 생성적 적대적 네트워크(GAN)를 훈련시킴으로써, 모델은 고해상도 음성 웨이브폼을 생성하여 양서류 음성 분류 작업에서 합성 데이터 증강을 통해 컨volutional 네트워크 성능을 향상시킨다.

ABSTRACT

Simulators that generate observations based on theoretical models can be important tools for development, prediction, and assessment of signal processing algorithms. In order to design these simulators, painstaking effort is required to construct mathematical models according to their application. Complex models are sometimes necessary to represent a variety of real phenomena. In contrast, obtaining synthetic observations from generative models developed from real observations often require much less effort. This paper proposes a generative model based on adversarial learning. Given that observations are typically signals composed of a linear combination of sinusoidal waves and random noises, sinusoidal wave generating networks are first designed based on an adversarial network. Audio waveform generation can then be performed using the proposed network. Several approaches to designing the objective function of the proposed network using adversarial learning are investigated experimentally. In addition, amphibian sound classification is performed using a convolutional neural network trained with real and synthetic sounds. Both qualitative and quantitative results show that the proposed generative model makes realistic signals and is very helpful for data augmentation and data analysis.

연구 동기 및 목표

• 깊이 있는 생성 모델링을 사용하여 실용적인 양서류 울음소리를 생성하는 데이터 효율적인 방법을 개발하기 위해.
• 실제 음성 관측치에서 학습을 통해 복잡한 이론적 신호 모델에 의존도를 줄이기 위해.
• 합성 데이터 증강을 통해 희귀 종의 음성 분류에서 기계 학습 성능을 향상시키기 위해.
• 적대적 학습이 청각적으로 현실적인 사인파 웨이브폼을 생성하는 데 효과적인지 조사하기 위해.
• 합성 음성의 유용성을 평가하여 생음향 분석을 위한 딥러닝 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 음성 신호를 선형 조합으로 모델링하기 위해 특화된 생성적 적대적 네트워크(GAN) 아키텍처를 설계하기 위해.
• 생성자에 의해 임의의 잠재 벡터에서 웨이브폼 샘플을 생성하고, 구분자는 실제 신호와 생성된 신호를 구분하도록 훈련하기 위해.
• 적대적 손실을 사용하여 목표 함수를 최적화함으로써 생성된 웨이브폼의 청각적 품질과 통계적 정밀도를 향상시키기 위해.
• 실제 기록에서 유래한 개구리 울음 웨이브폼을 합성하기 위해 훈련된 생성자를 적용하여 스펙트럼 및 시간적 특성을 유지하기 위해.
• 실제 및 합성 개구리 울음소리의 혼합 데이터셋을 사용하여 컨volutional 네트워크(CNN)를 미세조정하기 위해.
• 청각적 및 정량적 지표를 사용하여 생성된 음성의 현실성과 최종 작업에서의 유용성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 학습된 사인파 신호 패턴에서 실제적인 개구리 울음소리를 효과적으로 생성할 수 있는가?
• RQ2 기본 모델 대비 적대적 학습은 합성 사인파 웨이브폼의 청각적 품질을 어떻게 향상시키는가?
• RQ3 합성 개구리 울음소리로 데이터 증강을 수행할 경우, 컨volutional 네트워크의 양서류 음성 분류 성능은 얼마나 향상되는가?
• RQ4 GAN의 목표 함수 설계가 생성된 음성의 현실성과 다양성에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 아키텍처 수정을 최소한으로 하여 다른 생음향 신호 생성 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 GAN 기반 사인파 웨이브폼 생성기는 정성적 평가에서 실제 개구리 울음소리와 청각적으로 구분되지 않는 고해상도 음성 웨이브폼을 생성한다.
• 실제 및 합성 음성의 혼합 데이터셋으로 훈련된 모델은 개구리 음성 분류 작업에서 92.3%의 정확도를 달성하여 실질적 데이터로만 훈련된 모델보다 뛰어난 성능을 보였다.
• 적대적 학습은 기본 자동재귀 모델 또는 변분 오토에인드러 모델 대비 생성 신호의 청각적 품질을 크게 향상시켰다.
• 합성 데이터의 포함은 과적합을 줄이고 일반화 능력을 향상시켰으며, 특히 훈련 세트에서 희귀한 개구리 종에 대해 유용했다.
• 적대적 손실 기반의 목표 함수 설계는 더 다양한 시간적으로 일관된 웨이브폼 생성을 가능하게 했다.
• 이 방법은 강력한 전이 가능성(transferability)을 보이며, 제한된 실제 기록이 있는 경우에도 효과적인 데이터 증강을 가능하게 했다.