[논문 리뷰] GANSynth: Adversarial Neural Audio Synthesis

Jesse Engel, Kumar Krishna Agrawal외 4명|arXiv (Cornell University)|2019. 02. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 239

한 줄 요약

GANSynth는 피치로 조건화된 GAN을 활용하여 로그-크기 스펙트로그램과 순간 주파수로 고충실도이고 로컬 일관된 오디오 합성을 보여주며, 피치에 조건화된 생성으로 생성 속도가 빨라지고 NSynth에서 WaveNet에 비해 지각 품질이 경쟁력 있게 나타난다.

ABSTRACT

Efficient audio synthesis is an inherently difficult machine learning task, as human perception is sensitive to both global structure and fine-scale waveform coherence. Autoregressive models, such as WaveNet, model local structure at the expense of global latent structure and slow iterative sampling, while Generative Adversarial Networks (GANs), have global latent conditioning and efficient parallel sampling, but struggle to generate locally-coherent audio waveforms. Herein, we demonstrate that GANs can in fact generate high-fidelity and locally-coherent audio by modeling log magnitudes and instantaneous frequencies with sufficient frequency resolution in the spectral domain. Through extensive empirical investigations on the NSynth dataset, we demonstrate that GANs are able to outperform strong WaveNet baselines on automated and human evaluation metrics, and efficiently generate audio several orders of magnitude faster than their autoregressive counterparts.

연구 동기 및 목표

• 전역 구조를 유지하고 로컬 파형 일관성을 보장하는 효율적인 신경 오디오 합성을 고무한다.
• 스펙트럼 도메인 표현을 사용할 때 GAN이 오디오에서 자기회귀 모델보다 성능이 우수한지 조사한다.
• 로그-크기, 위상, 순간 주파수, 멜 스케일 등 다양한 표현이 오디오 품질과 일관성에 미치는 영향을 평가한다.
• 음색-피치 보간을 위한 전역 조건화와 자기회귀 기준선에 비해 생성 속도 이점을 시연한다.

제안 방법

• 오디오를 STFT 기반 스펙트로그램으로 표현하고 크기 및 위상 채널 또는 파생물(순간 주파수)로 표현한다.
• 진행적 성장과 그라디언트 패널티를 이용해 GAN을 학습시키고, 피치를 원-핫 벡터로 조건화하며 보조 피치 분류기 손실을 추가한다.
• 표현들을 비교한다: 위상과 함께하는 로그-크기, 순간 주파수, 위상 및 고주파 해상도(+H) 변형, 멜 스케일 변형(IF-Mel) 포함.
• 피치 일관된 생성을 촉진하기 위해 보조 분류기 GAN 설정을 사용한다.
• NSynth에서 WaveGAN 및 WaveNet 기반선과 비교 벤치마크를 수행하고, 인간 평가지표와 자동 평가지표(NDB, FID, IS, PA, PE)를 사용한다.
• 생성 속도를 평가하고 병렬 비자기회귀 합성을 시연한다.

실험 결과

연구 질문

• RQ1 GAN이 스펙트럼 표현으로 학습했을 때도 높은 지각 품질과 로컬 파형 일관성을 모두 갖춘 오디오를 합성할 수 있는가?
• RQ2 로그-크기, 순간 주파수, 위상 표현을 도입하는 것이 직접 파형 생성에 비해 일관성을 개선하는가?
• RQ3 피치 조건화가 GAN 기반 오디오 생성에서 음색 일관성과 지각적 보간에 어떤 영향을 미치는가?
• RQ4 자기회귀 WaveNet 및 WaveGAN 기반선과 비교했을 때 오디오 품질과 생성 속도에서 어떤 상대적 개선이 있는가?

주요 결과

• 위상 또는 순간 주파수와 함께 로그-크기 스펙트럼으로 학습된 GAN은 직접 파형 생성보다 더 일관된 파형을 생성할 수 있다.
• 순간 주파수(IF)를 추정하는 것이 위상만 추정하는 것보다 더 일관된 오디오를 생성한다.
• 스펙트럴 해상도를 높이고 멜 스케일 표현을 사용하는 것이 고조파를 구분하는 데 도움이 되어 품질을 향상시킨다.
• NSynth에서 GAN이 강력한 WaveNet 기준선보다 자동 지표와 인간 평가 모두에서 우수하며, 자기회귀 모델에 비해 수 배에서 수십 배 빠른 생성 속도를 가능하게 한다.
• 잠재 벡터와 피치에 대한 전역 조건화는 지각적으로 매끄러운 음색 보간과 피치 간 일관된 음색 아이덴티티를 가능하게 한다.