[논문 리뷰] Adversarial Audio Synthesis

Chris Donahue, Julian McAuley외 1명|arXiv (Cornell University)|2018. 02. 12.

Generative Adversarial Networks and Image Synthesis인용 수 94

한 줄 요약

본 논문은 GAN을 이용한 비지도 원시 오디오 생성을 위한 WaveGAN과 SpecGAN을 도입하고, 음성, 드럼, 새소리, 피아노 도메인 전반에서 1초 길이의 일관된 오디오를 시연하며 인간 판단과 inception 기반 지표로 평가한다.

ABSTRACT

Audio signals are sampled at high temporal resolutions, and learning to synthesize audio requires capturing structure across a range of timescales. Generative adversarial networks (GANs) have seen wide success at generating images that are both locally and globally coherent, but they have seen little application to audio generation. In this paper we introduce WaveGAN, a first attempt at applying GANs to unsupervised synthesis of raw-waveform audio. WaveGAN is capable of synthesizing one second slices of audio waveforms with global coherence, suitable for sound effect generation. Our experiments demonstrate that, without labels, WaveGAN learns to produce intelligible words when trained on a small-vocabulary speech dataset, and can also synthesize audio from other domains such as drums, bird vocalizations, and piano. We compare WaveGAN to a method which applies GANs designed for image generation on image-like audio feature representations, finding both approaches to be promising.

연구 동기 및 목표

• 스펙트로그램이나 자기회귀 모델에 의존하기보다 GAN으로 원시 오디오의 비지도 생성을 동기 부여하고 탐구한다.
• DCGAN에서 개조된 GAN 아키텍처를 사용해 1초 길이의 원시 파형 오디오를 생성하는 WaveGAN을 개발한다.
• 반전 가능성에 근접한 스펙트로그램을 생성하는 SpecGAN을 개발하고 파형 기반 생성과 비교한다.
• 음성, 드럼, 새 소리, 피아노를 포함한 여러 오디오 도메인에서 생성 품질, 다양성, 이해 가능성을 평가한다.
• 이미지 생성 GAN을 오디오 합성에 맞게 적용하기 위한 실용적 지침과 기본 템플릿을 제공한다.

제안 방법

• 특징을 1차원 파형 생성에 맞추어 DCGAN을 적용하고(필터 길이 25의 더 긴 1D 필터 사용 및 4배 업샘플링), 판별기에 위상 셔플(phase shuffle)을 도입하여 아티팩트를 완화한다.
• 스펙트로그램을 이용해 작동하고 근사적인 invertibility 경로를 갖는 SpecGAN을 도입하고, Griffin-Lim을 사용해 파형을 복구한다.
• GAN 최적화를 안정화하기 위해 WGAN-GP 학습을 적용한다.
• 판별기에 위상 불변성을 적용하기 위해 phase shuffle을 사용한다(n ∈ {1,2,4}).
• SC09에 대해 학습된 오디오 분류기로부터 얻은 inception score와 함께 다양성 및 훈련 데이터 근접성 지표, 그리고 인간 판단을 사용해 평가한다.

실험 결과

연구 질문

• RQ1 레이블 조건 없이도 GAN이 고차원 오디오 데이터의 전역 구조를 학습할 수 있는가?
• RQ2 다양한 도메인에서 비지도 오디오 합성에 대해 파형 기반과 스펙트로그램 기반 GAN 접근법은 어떻게 비교되는가?
• RQ3 어떤 정규화나 아키텍처 선택(예: phase shuffle)이 오디오 생성 품질과 다양성을 높이는가?
• RQ4 생성된 오디오가 인간에게 이해 가능한가, 실제 데이터 및 자기회귀 기반과 비교해 어떠한가?

주요 결과

• WaveGAN과 SpecGAN은 비조건적 설정에서도 해독 가능한 숫자 음성을 생성할 수 있다.
• SpecGAN이 더 높은 inception 점수를 얻더라도 WaveGAN이 주관적 음질과 화자 다양성 면에서 일반적으로 더 우수하다.
• phase shuffle은 일부 구성에서 생성 품질을 개선하거나 안정화시키며, 이 설정에서 dropout 같은 특정 규제 기법보다 우수한 성능을 보인다.
• SC09에서 WaveGAN의 inception 점수는 4.7; 같은 설정에서 SpecGAN은 6.03을 달성하고, 실제 테스트 데이터는 8.01을 기록한다.
• 도메인 전반(드럼, 새소리, 피아노, TIMIT)에서 WaveGAN은 지각적으로 일관된 오디오 샘플을 생성하고 도메인에 일치하는 구조를 포착하며, SpecGAN 변형은 변이 포착이 더 강하지만 역전(inversion) 관련 아티팩트로 고생할 수 있다.