[논문 리뷰] Neural Granular Sound Synthesis

Adrien Bitton, Philippe Esling외 1명|arXiv (Cornell University)|2020. 08. 04.

Music Technology and Sound Studies인용 수 5

한 줄 요약

이 논문은 전통적인 오디오 기술적 특성 대신 변분 오토에인코더(VAE)로 학습된 잠재 공간을 사용하는 신경망 기반의 입자 음향 합성 방법을 제안한다. 이는 연속적이고 역행 가능한 합성과 구조화된 시간적 모델링을 가능하게 하며, 조건부 샘플링, 모핑, 다양한 음향 유형에서 고감도의 청각 품질을 갖춘 실시간 오디오 생성과 같은 새로운 합성 방식을 지원한다.

ABSTRACT

Granular sound synthesis is a popular audio generation technique based on rearranging sequences of small waveform windows. In order to control the synthesis, all grains in a given corpus are analyzed through a set of acoustic descriptors. This provides a representation reflecting some form of local similarities across the grains. However, the quality of this grain space is bound by that of the descriptors. Its traversal is not continuously invertible to signal and does not render any structured temporality. We demonstrate that generative neural networks can implement granular synthesis while alleviating most of its shortcomings. We efficiently replace its audio descriptor basis by a probabilistic latent space learned with a Variational Auto-Encoder. In this setting the learned grain space is invertible, meaning that we can continuously synthesize sound when traversing its dimensions. It also implies that original grains are not stored for synthesis. Another major advantage of our approach is to learn structured paths inside this latent space by training a higher-level temporal embedding over arranged grain sequences. The model can be applied to many types of libraries, including pitched notes or unpitched drums and environmental noises. We report experiments on the common granular synthesis processes as well as novel ones such as conditional sampling and morphing.

연구 동기 및 목표

• 기존 입자 음향 합성의 한계, 즉 역행 불가능한 입자 공간과 수작업으로 구성된 음향 기술적 특성에 기반한 문제를 해결하기 위해.
• 원시적인 입자들로부터 VAE를 통해 확률적 잠재 공간을 학습함으로써 연속적이고 미분 가능한 합성을 실현하기 위해.
• 더 높은 수준의 순차적 임bedding을 사용해 입자 시퀀스의 구조화된 시간적 동역학을 모델링하여 표현력 있는 오디오 생성을 가능하게 하기 위해.
• 원래의 입자를 저장하지 않고도 복소합성, 모핑, 조건부 샘플링과 같은 다양한 합성 작업을 지원하기 위해.
• 음악적 작곡과 상호작용 시스템에 적합한 고해상도 오디오 재구성 및 실시간 생성을 달성하기 위해.

제안 방법

• 오디오 코퍼스에서 추출한 입자들에 대해 VAE를 훈련시어, 입자 음향을 나타내는 연속적이고 역행 가능한 잠재 공간을 학습한다.
• VAE의 잠재 공간은 연속적 합성을 가능하게 하며, 잠재 공간 내 임의의 점도 새로운 실제적인 입자 웨이브폼으로 복원할 수 있다.
• 입자 특성의 시퀀스에 대해 별도의 순차 모델(시간 임베딩)을 훈련시어, 잠재 공간 내에서 구조화되고 시간적으로 일관된 궤적을 학습한다.
• 사용자가 정의한 목표(예: 테너, 악기 종류, 목표 신호 특성 등)에 따라 VAE 디코더를 조건화함으로써 조건부 생성을 가능하게 한다.
• 자유 합성은 잠재 공간 내 경로(예: 선형, 원형, 나선형)를 샘플링하고, 겹침 추가 방식으로 복원된 입자를 연결함으로써 실현된다.
• GPU에서 최적화된 추론을 통해 실시간 합성을 달성하였으며, OSC를 통한 Max/MSP와 같은 상호작용 환경에 통합되었다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 생성 모델이 수작업으로 구성된 음향 기술적 특성을 대체하면서도 연속적이고 역행 가능한 합성을 가능하게 할 수 있는가?
• RQ2 기본 신호 정렬 정보에 의존하지 않고도 입자 시퀀스에서 구조화된 시간적 동역학을 계층적 잠재 공간 모델이 학습할 수 있는가?
• RQ3 모델은 음정이 있는 음표, 음정이 없는 드럼, 환경 음향 등 다양한 음향 유형으로 일반화할 수 있는가?
• RQ4 기본 모델 대비 데이터 기반의 재구성, 모핑, 조건부 오디오 생성 성능은 얼마나 우수한가?
• RQ5 표현력 있는 톤과 시간적 변화를 제어할 수 있는 실시간 상호작용 오디오 합성을 가능하게 할 수 있는가?

주요 결과

• 제안된 모델은 다양한 데이터셋에서 최신 기준 수준의 재구성 품질을 달성하였으며, Studio-On-Line ordinario 데이터셋에서 RMSE는 4.86, LSD는 1.17을 기록하였다.
• 8 Drums 데이터셋에서는 RMSE가 2.79, LSD가 0.52를 기록하여, 음정이 없고 순간적인 충격이 많은 음향에서도 뛰어난 성능을 보였다.
• 선형, 원형, 나선형 경로를 포함한 연속적인 잠재 공간 이동을 통해 매끄럽고 청각적으로 일관된 오디오 합성이 가능해졌다.
• 음정과 악기 종류에 기반한 조건부 샘플링은 표현력 있고 목표 지향적인 재구성과 톤 전이를 가능하게 하였다.
• 잠재 공간 내에서의 보간을 통해 서로 다른 음향 유형 간의 모핑이 이루어졌으며, 자연스러운 청각 전환을 생성하였다.
• 추론 속도가 약 0.54~2.87초/반복이므로 실시간 오디오 생성이 가능하여 상호작용 응용이 가능하다.