[논문 리뷰] Assisted Sound Sample Generation with Musical Conditioning in Adversarial Auto-Encoders

Adrien Bitton, Philippe Esling외 2명|arXiv (Cornell University)|2019. 04. 12.

Music and Audio Processing참고 문헌 18인용 수 7

한 줄 요약

이 논문은 WAE-Fader를 제안하며, 음악적 조건부 조절을 통해 워샤르스타인 오토에코더(Wasserstein Auto-Encoders) 기반의 경량 비순차적 생성 모델로 실시간으로 표현력 있는 사운드 샘플 생성을 가능하게 한다. 이 모델은 오케스트라 톤, 연주 기법에 대한 분리된 연속적인 스타일 제어를 학습하여 임베딩 공간 조작을 통해 직관적인 속성 혼합을 가능하게 하며, 플러그인을 통한 실시간 DAW 통합 오디오 합성도 지원한다.

ABSTRACT

Generative models have thrived in computer vision, enabling unprecedented image processes. Yet the results in audio remain less advanced. Our project targets real-time sound synthesis from a reduced set of high-level parameters, including semantic controls that can be adapted to different sound libraries and specific tags. These generative variables should allow expressive modulations of target musical qualities and continuously mix into new styles. To this extent we train AEs on an orchestral database of individual note samples, along with their intrinsic attributes: note class, timbre domain and extended playing techniques. We condition the decoder for control over the rendered note attributes and use latent adversarial training for learning expressive style parameters that can ultimately be mixed. We evaluate both generative performances and latent representation. Our ablation study demonstrates the effectiveness of the musical conditioning mechanisms. The proposed model generates notes as magnitude spectrograms from any probabilistic latent code samples, with expressive control of orchestral timbres and playing styles. Its training data subsets can directly be visualized in the 3D latent representation. Waveform rendering can be done offline with GLA. In order to allow real-time interactions, we fine-tune the decoder with a pretrained MCNN and embed the full waveform generation pipeline in a plugin. Moreover the encoder could be used to process new input samples, after manipulating their latent attribute representation, the decoder can generate sample variations as an audio effect would. Our solution remains rather fast to train, it can directly be applied to other sound domains, including an user's libraries with custom sound tags that could be mapped to specific generative controls. As a result, it fosters creativity and intuitive audio style experimentations.

연구 동기 및 목표

• 음악적 속성(톤, 연주 기법, 음고 등)에 대한 의미적 제어를 지원하는 실시간 오디오 합성에 적합한 빠르고 경량의 생성 모델을 개발한다.
• 특히 시각 외 영역인 음악 분야에서 해석 가능하고 제어 가능한 표현 방식의 부족을 해결한다.
• 학습된 음악적 속성에서 유도된 연속적이고 분리된 임베딩 변수를 통해 다수의 오디오 스타일을 펌프처럼 혼합할 수 있는 직관적인 방식을 제공한다.
• 실시간 웨이브폼 생성을 위한 미세조정이 가능하고 디지털 오디오 워크스테이션(DAW)에 통합되어 라이브 연주 및 사운드 디자인에 활용될 수 있는 시스템을 제공한다.
• 사용자 맞춤 사운드 라이브러리로의 확장을 위해 커스텀 태그를 생성 제어에 매핑함으로써 재학습 없이도 개인화된 오디오 합성을 가능하게 한다.

제안 방법

• 오케스트라 노트 샘플의 멜스펙트로그램 크기 값을 기반으로 워샤르스타인 오토에코더(WAE)를 훈련시어, 분리된 3차원 임베딩 표현을 학습한다.
• 피처와이즈 라인어 모듈레이션(FiLM)을 사용해 디코더를 조건화함으로써 음고 계열, 톤 영역, 확장된 연주 기법과 같은 노트 속성을 명시적으로 제어한다.
• 스태일 제어의 연속적 혼합을 가능하게 하고 분리도를 증진시키기 위해, 속성에 불변인 임베딩 표현을 강제화하는 펌프 임베딩 판별기(Fader latent discriminator)를 도입한다.
• 재구성 품질을 유지하면서도 임베딩 공간 내에서 스타일 변수의 표현력과 분리도를 향상시키기 위해 적대적 훈련을 사용한다.
• 실시간 웨이브폼 생성을 위해 사전 훈련된 멜스펙트로그램 역추론 네트워크(MCNN)로 디코더를 미세조정한다.
• LibTorch를 사용해 PureData 플러그인에 전체 파이프라인을 통합함으로써 MIDI 매핑과 실시간 DAW 통합을 지원하여 상호작용 가능한 사운드 디자인을 가능하게 한다.

실험 결과

연구 질문

• RQ1 음악적 조건부 조절을 통해 워샤르스타인 오토에코더 기반의 경량 비순차적 오토에코더 모델이 오케스트라 사운드 샘플에 대해 분리된 연속적인 스타일 제어를 학습할 수 있는가?
• RQ2 펌프 판별기를 사용한 적대적 훈련이 속성에 불변인 임베딩 표현을 촉진하면서도 정확한 속성 조건부 생성을 가능하게 하는가?
• RQ3 학습된 임베딩 공간이 다수의 음악적 속성(예: 톤과 연주 기법)을 펌프처럼 혼합하는 데 있어 얼마나 직관적인 지원을 제공하는가?
• RQ4 재학습 없이도 커스텀 태그를 생성 제어에 매핑함으로써 사용자 맞춤 사운드 라이브러리로 모델을 확장할 수 있는가?
• RQ5 실시간 환경에서 그리프린-림(Griffin-Lim)과 미세조정된 신경망 역추론 네트워크 간의 웨이브폼 재구성 품질은 얼마나 유사한가?

주요 결과

• WAE-Fader 모델은 테스트 재구성 손실이 낮게 유지되어 멜스펙트로그램 크기의 고품질 재구성을 달성하여 강력한 생성 성능을 입증한다.
• 추론 실험 결과, FiLM을 통한 음악적 조건부 조절과 적대적 훈련이 조건부 생성 성능을 크게 향상시키며, 조건 없이 훈련된 기준 모델보다 뛰어난 성능을 보인다.
• 임베딩 공간의 시각화 결과, 톤, 연주 기법 등의 속성이 3차원 임베딩 공간에서 명확한 클러스터링을 이루며 분리도와 해석 가능성의 타당성을 입증한다.
• 모델은 스타일 변수의 연속적 혼합을 가능하게 하여, 사용자가 펌프처럼 임베딩 제어를 조절해 하이브리드 톤과 효과를 생성할 수 있다.
• MCNN로 디코더를 미세조정함으로써 그라이프린-림과 거의 유사한 웨이브폼 품질을 달성하여 실시간 오디오 렲현이 가능하고, 라이브 연주에 적합하다.
• 플러그인 구현은 실시간 MIDI 매핑과 DAW 통합을 지원하여 저지연 응답으로 상호작용 가능한 표현력 있는 사운드 디자인을 가능하게 한다.