[논문 리뷰] Conditional WaveGAN

Chae Young Lee, Anoop Toffy외 2명|arXiv (Cornell University)|2018. 09. 27.

Music and Audio Processing참고 문헌 6인용 수 3

한 줄 요약

이 논문은 클래스 레이블을 조건으로 하여 실제 원시 오디오 웨이브포맷을 합성하는 조건부 생성 적대 신경망인 Conditional WaveGAN(cWaveGAN)을 소개한다. 이는 연결 기반 및 조건부 스케일링 조건화 방법을 사용한다. 모델은 무조건적 WaveGAN 대비 개선된 샘플 품질을 달성하며 인간이 인식할 수 있는 오디오 생성을 구현하지만, 학습의 불안정성과 노이즈 문제는 여전히 도전 과제로 남아 있다.

ABSTRACT

Generative models are successfully used for image synthesis in the recent years. But when it comes to other modalities like audio, text etc little progress has been made. Recent works focus on generating audio from a generative model in an unsupervised setting. We explore the possibility of using generative models conditioned on class labels. Concatenation based conditioning and conditional scaling were explored in this work with various hyper-parameter tuning methods. In this paper we introduce Conditional WaveGANs (cWaveGAN). Find our implementation at https://github.com/acheketa/cwavegan

연구 동기 및 목표

• 원시 오디오 합성을 위한 조건부 생성 프레임워크로 WaveGAN을 클래스 레이블을 사용해 확장하기.
• 연결 기반 및 조건부 스케일링 조건화 방법의 효과성을 평가하여 오디오 생성을 제어하는 데 기여하기.
• 다양한 조건화 전략 하에서 생성된 오디오 샘플의 품질과 일관성을 평가하기.
• 하이퍼파rameter 튜닝 및 손실 함수 최적화를 통해 생성 오디오의 학습 불안정성과 노이즈 문제를 해결하기.
• 합성 오디오를 후행 분류 모델의 학습 데이터로 사용할 수 있는지 탐색하기.

제안 방법

• 생성자와 판별자에 모두 클래스 레이블을 연결하여 입력으로 제공하는 연결 기반 조건화를 통해 WaveGAN 아키텍처를 수정한다.
• 레이블 임베딩을 사용하여 생성자의 특징 맵을 조절하는 조건부 스케일링을 적용한다.
• 학습 안정성을 향상시키기 위해 기울기 페널티를 포함한 WGAN-GP 손실을 사용하여 모델을 학습시킨다.
• 생성자 및 판별자 네트워크에서 배치 정규화와 ReLU/LeakyReLU 활성화 함수를 사용한다.
• 잠재 벡터를 전체 길이의 오디오 웨이브포맷으로 업샘플링하기 위해 전치 1D 컨볼루션을 적용한다.
• 64와 1024의 배치 크기를 각각 사용하여 네 개의 NVIDIA Tesla V100 GPU와 하나의 TPUv2에서 학습한다.

실험 결과

연구 질문

• RQ1 클래스 레이블을 조건으로 하여 cWaveGAN이 고해상도, 인간이 인식할 수 있는 오디오 웨이브포맷을 생성할 수 있는가?
• RQ2 연결 및 조건부 스케일링과 같은 다양한 조건화 메커니즘이 오디오 품질과 학습 안정성에 어떤 영향을 미치는가?
• RQ3 학습률, 배치 크기, 최적화 알고리즘과 같은 하이퍼파ram터 설정 중 어떤 것이 가장 안정적인 학습과 최상의 샘플 품질을 이끌어내는가?
• RQ4 cWaveGAN에서 합성된 오디오는 어느 정도의 범위까지 후행 분류 모델의 학습 데이터로 활용될 수 있는가?
• RQ5 원시 오디오 생성을 위한 조건부 GAN 학습에서 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 조건부 WaveGAN은 클래스 레이블을 조건으로 하여 인간이 인식할 수 있는 원시 오디오 웨이브포맷을 성공적으로 생성하여 제어 가능한 오디오 합성의 가능성을 입증한다.
• 무조건적 WaveGAN 대비 개선된 샘플 품질을 달성하였으며, 청각적으로 이해 가능한 발화와 악기 소리가 포함되어 있다.
• 학습 초기 단계에서 특히 빈번하게 학습 불안정성과 노이즈 출력이 관찰되었다.
• 기울기 페널티를 포함한 WGAN-GP를 사용함으로써 표준 GAN 목표 함수 대비 학습 안정성이 향상되었다.
• 하이퍼파ram터 튜닝, 특히 학습률 조정이 판별자 손실의 급격한 상승을 줄이고 생성자 성능을 향상시키는 데 핵심적인 역할을 하였다.
• 조건부 스케일링과 연결 기반 조건화 모두 유의미한 결과를 도출하였지만, 실험 간 조건화 일관성은 다양하게 나타났다.