[논문 리뷰] DrumGAN: Synthesis of Drum Sounds With Timbral Feature Conditioning Using Generative Adversarial Networks

Javier Nistal Hurlé, Stefan Lattner외 1명|arXiv (Cornell University)|2020. 08. 27.

Music Technology and Sound Studies참고 문헌 32인용 수 28

한 줄 요약

DrumGAN은 청각적 톤 특성(예: 밝기, 부풀림)을 조건부 입력으로 사용하여 고해상도 드럼 사운드 합성을 위한 조건부 생성 적대 신경망(GAN)을 제안한다. 이는 음악적으로 의미 있는 직관적 제어를 가능하게 한다. 모델은 음질과 분포 일관성 측면에서 이전의 U-Net 기반 기준 모델을 능가하며, FAD 및 KID 점수에서 뛰어난 성능을 기록하면서도 정확한 특성 조건부 입력을 유지한다.

ABSTRACT

Synthetic creation of drum sounds (e.g., in drum machines) is commonly performed using analog or digital synthesis, allowing a musician to sculpt the desired timbre modifying various parameters. Typically, such parameters control low-level features of the sound and often have no musical meaning or perceptual correspondence. With the rise of Deep Learning, data-driven processing of audio emerges as an alternative to traditional signal processing. This new paradigm allows controlling the synthesis process through learned high-level features or by conditioning a model on musically relevant information. In this paper, we apply a Generative Adversarial Network to the task of audio synthesis of drum sounds. By conditioning the model on perceptual features computed with a publicly available feature-extractor, intuitive control is gained over the generation process. The experiments are carried out on a large collection of kick, snare, and cymbal sounds. We show that, compared to a specific prior work based on a U-Net architecture, our approach considerably improves the quality of the generated drum samples, and that the conditional input indeed shapes the perceptual characteristics of the sounds. Also, we provide audio examples and release the code used in our experiments.

연구 동기 및 목표

• 음악적으로 의미 있는 톤 특성 제어가 가능한 데이터 기반 드럼 사운드 합성 시스템을 개발하는 것.
• U-Net과 같은 결정론적 모델의 한계를 해결하는 것 — 즉, 낮은 음질과 데이터 분산을 모델링하지 못하는 문제.
• 진행적 성장 워샤프스키 GAN(PGAN)을 사용하여 조건부 입력 기반의 청각적 특성에 기반한 생성 음질 향상을 도모하는 것.
• 연속적인 청각적 특성에 조건부로 설정할 경우 더 일관되고 청각적으로 정확한 사운드 생성이 이루어지는지 검증하는 것.
• 재현 가능성과 음악 제작 워크플로우에의 통합을 지원하기 위해 코드와 오디오 샘플을 공개하는 것.

제안 방법

• 모델은 잠재 노이즈와 조건부 톤 특성 입력을 기반으로 원시 오디오 웨이브폼을 생성하기 위해 진행적 성장 워샤프스키 GAN(PGAN) 아키텍처를 활용한다.
• 조건부 입력은 Audio Commons 톤 특성 모델을 통해 추출된 연속적인 청각적 특성(예: 밝기, 거칠기) 세트로 제공된다.
• 판별기에는 입력 톤 특성을 예측하는 보조 회귀 헤드를 추가하고, 생성 샘플의 특성 일관성을 강제하기 위해 추가적인 평균 제곱오차(MSE) 손실을 적용한다.
• 생성기는 실제 데이터 분포와 지정된 조건부 특성 모두와 일치하는 현실적인 드럼 샘플을 생성하도록 훈련된다.
• 모델은 약 30만 개의 킥, 스네어, 싱커벌 샘플로 구성된 대규모 데이터셋에서 훈련되며, 조건부 및 비조건부 설정 모두에서 평가된다.
• 훈련은 적대적 손실, 청각적 특성 회귀 손실, 표준 GAN 목표 함수의 조합을 통해 이루어져 훈련 안정성과 샘플 품질 향상을 도모한다.

실험 결과

연구 질문

• RQ1 조건부 GAN 모델은 음악적으로 의미 있는 특성으로 제어 가능한 청각적으로 현실적인 고해상도 드럼 사운드를 생성할 수 있는가?
• RQ2 연속적인 청각적 특성(예: 밝기, 부풀림)에 조건부로 설정할 경우, 결정론적 모델 대비 더 일관되고 정확한 톤 제어가 이루어지는가?
• RQ3 제안된 DrumGAN 모델은 음질과 분포 일관성 측면에서 이전의 U-Net 기반 기준 모델에 비해 어떻게 비교되는가?
• RQ4 판별기 내 보조 특성 회귀 손실이 입력 조건부와 출력 톤 특성 간의 일치도 향상에 얼마나 기여하는가?
• RQ5 모델은 다양한 드럼 사운드에 일반화되며, 생성 과정에서 의도된 청각적 특성을 유지할 수 있는가?

주요 결과

• DrumGAN은 U-Net 기준 모델 대비 더 낮은 Fréchet Audio Distance(FAD) 및 Kernel Inception Distance(KID) 점수를 기록하여 실제 드럼 샘플과의 분포 일치도가 뛰어나다는 것을 보여준다.
• U-Net 기준 모델 대비 FAD는 약 14점, KID는 최대 14점 감소하여 샘플 품질과 다양성 측면에서 향상된 것을 입증한다.
• 특성 일관성 테스트 결과, DrumGAN은 청각적 특성에 대해 일관된 제어를 유지한다: 예를 들어 밝기와 부풀림은 각각 평균 정확도 0.74와 0.80로 정확하게 재현된다.
• 일부 특성(예: 딱딱함, 거칠기)의 평균 정확도가 낮기는 하지만, U-Net 대비 더 일관된 성능을 보이며, U-Net는 밝기(0.99)와 거칠기(0.59) 등 극단적인 변동성을 보였다.
• 적대적 훈련 기반 설계 덕분에 데이터 분산을 더 잘 모델링하고 더 높은 청각적 품질을 달성했으며, 이는 특성 예측이 다소 비결정론적이더라도 가능하다.
• 모델은 정량적 지표와 오디오 예시를 통해 청각적으로 일관되고 전문 음악 제작에 적합한 고품질 드럼 샘플을 성공적으로 생성했다.