[논문 리뷰] Neural Waveshaping Synthesis

Ben J. Hayes, Charalampos Saitis외 1명|arXiv (Cornell University)|2021. 07. 11.

Music and Audio Processing인용 수 10

한 줄 요약

이 논문은 시간 분포 다층 퍼셉트론과 주기적 활성화 함수를 사용하여 연속적이고 미분 가능한 웨이브셰이핑 함수를 학습하는 경량이며 완전히 인과적인 신경 음향 합성 모델인 신경 웨이브셰이핑 유닛(NEWT)을 소개한다. 이 모델은 오직 260만 개의 파rameter를 사용하면서도 소비자용 CPU에서 실시간 성능(RTF < 1)을 달성하여 기존 최고 수준의 모델들보다 빠른 속도를 보이며 청취 테스트와 프레셰트 오디오 거리(Fréchet Audio Distance) 지표에서 경쟁 가능한 음질을 유지한다.

ABSTRACT

We present the Neural Waveshaping Unit (NEWT): a novel, lightweight, fully causal approach to neural audio synthesis which operates directly in the waveform domain, with an accompanying optimisation (FastNEWT) for efficient CPU inference. The NEWT uses time-distributed multilayer perceptrons with periodic activations to implicitly learn nonlinear transfer functions that encode the characteristics of a target timbre. Once trained, a NEWT can produce complex timbral evolutions by simple affine transformations of its input and output signals. We paired the NEWT with a differentiable noise synthesiser and reverb and found it capable of generating realistic musical instrument performances with only 260k total model parameters, conditioned on F0 and loudness features. We compared our method to state-of-the-art benchmarks with a multi-stimulus listening test and the Fréchet Audio Distance and found it performed competitively across the tested timbral domains. Our method significantly outperformed the benchmarks in terms of generation speed, and achieved real-time performance on a consumer CPU, both with and without FastNEWT, suggesting it is a viable basis for future creative sound design tools.

연구 동기 및 목표

• DAW 워크플로우와 호환되는 실시간이자 경량인 신경 음향 합성 모델의 부족을 보완하기 위해.
• 신경 웨이브셰이핑을 통해 웨이브폼 도메인에서 효율적이고 인과적이며 해석 가능한 음향 합성을 가능하게 하기 위해.
• 기존 최고 수준의 방법들인 DDSP와 HTP와 비교해 모델 크기와 추론 지연을 줄이기 위해.
• 학습된 웨이브셰이핑 함수의 애핀 변환을 통해 동적 톤 색채 변화를 가능하게 하기 위해.
• CPU 기반 효율적인 추론을 통해 실시간 음악 제작 환경에 원활하게 통합하기 위해.

제안 방법

• NEWT는 주기적 활성화 함수를 가진 시간 분포 다층 퍼셉트론을 사용하여 톤 색채 합성을 위한 비선형 웨이브셰이핑 전이 함수를 암묵적으로 학습한다.
• 모델은 제어 신호(F0 및 음량)가 입력과 출력 스케일링 및 이동을 애핀 변환을 통해 조절하는 방식으로 학습된 웨이브셰이퍼를 조화 음원 신호에 적용한다.
• 생성된 오디오의 현실감을 향상시키기 위해 미분 가능한 노이즈 합성기와 리버브가 통합되어 있다.
• 빠른 NEWT는 추론 효율성을 높이기 위해 정규화 및 양자화 기반 최적화 기법을 도입하여, 최고 성능 기준 벤치마크 대비 추론 시간을 2.9배 감소시켰다.
• 모델는 전체 구성 요소가 엔드 투 엔드로 미분 가능하도록 웨이브폼 복원 손실과 청각적 손실의 조합으로 훈련된다.
• 모델 평가는 다중 자극 청취 테스트와 프레셰트 오디오 거리(Fréchet Audio Distance, FAD)를 사용하며, 추론 효율성은 실시간 요소(RTF)로 측정된다.

실험 결과

연구 질문

• RQ1 경량이며 완전히 인과적인 신경 아키텍처가 현실적인 음악 톤 색채 합성을 위한 효과적인 웨이브셰이핑 함수를 학습할 수 있는가?
• RQ2 작은 모델(260만 개의 파arameter)이 더 큰 최고 수준의 모델들과 비교해 경쟁 가능한 음질을 달성할 수 있는가?
• RQ3 음질을 희생시키지 않고도 소비자용 CPU에서 실시간 성능을 달성할 수 있는가?
• RQ4 학습된 웨이브셰이핑 함수가 톤 색채 변화와 사운드 품질에 어떻게 기여하는가?
• RQ5 제어 신호를 통해 톤 색채 전이 및 다중 악기 합성에 일반화될 수 있는가?

주요 결과

• NEWT 모델은 소비자용 CPU(Intel i5 1038NG7)에서 4초 입력에 대해 평균 RTF 0.96을 기록하여 모든 벤치마크를 초월하는 실시간 성능을 달성했다.
• FastNEWT는 최고 성능 기준 벤치마크 대비 CPU에서 평균 RTF를 2.9배 감소시켜 추론 효율성을 크게 향상시켰다.
• 다중 자극 청취 테스트에서 모델는 최고 수준의 방법들과 경쟁적으로 성능을 보였으며, 특히 트럼프트 및 플루트 톤 색채에서 뛰어난 성능을 보였다.
• 프레셰트 오디오 거리(Fréchet Audio Distance, FAD) 점수는 바이올린 톤 색채에서는 유사 크기의 DDSP 기준 벤치마크와 유사했고, 다른 톤 색채에서는 이를 초월했다.
• 최고 수준의 모델들 대비 20배의 파arameter 감소를 달성하면서도 높은 음질과 실시간 성능를 유지했다.
• 시각화 결과 NEWT가 실제로 음원 신호에 웨이브셰이핑을 수행하며, 학습된 형태 함수와 애핀 파aram터가 동적으로 톤 색채를 조절하는 것으로 확인되었다.