[논문 리뷰] DDX7: Differentiable FM Synthesis of Musical Instrument Sounds

Franco Caspe, Andrew McPherson외 1명|arXiv (Cornell University)|2022. 08. 12.

Music and Audio Processing인용 수 12

한 줄 요약

DDX7는 깊이 신경망을 사용하여 연속적인 오디오 기반 제어를 가능하게 하는 경량이며 미분 가능한 FM 합성 모델을 제안한다. 이는 유명한 야마하 DX7 합성기의 연속적이고 실시간 제어를 가능하게 한다. 패치 제약 조건을 적용하고, 오디오 특징에서 FM 파arameter를 예측하기 위해 인과적 TCN을 사용함으로써, DDX7는 오직 6개의 파arameter로도 높은 품질의 재합성을 달성한다. 이는 더 복잡한 베이스라인에 비해 청각적 품질에서 뒤지지 않으며, 실시간 성능에 적합하다.

ABSTRACT

FM Synthesis is a well-known algorithm used to generate complex timbre from a compact set of design primitives. Typically featuring a MIDI interface, it is usually impractical to control it from an audio source. On the other hand, Differentiable Digital Signal Processing (DDSP) has enabled nuanced audio rendering by Deep Neural Networks (DNNs) that learn to control differentiable synthesis layers from arbitrary sound inputs. The training process involves a corpus of audio for supervision, and spectral reconstruction loss functions. Such functions, while being great to match spectral amplitudes, present a lack of pitch direction which can hinder the joint optimization of the parameters of FM synthesizers. In this paper, we take steps towards enabling continuous control of a well-established FM synthesis architecture from an audio input. Firstly, we discuss a set of design constraints that ease spectral optimization of a differentiable FM synthesizer via a standard reconstruction loss. Next, we present Differentiable DX7 (DDX7), a lightweight architecture for neural FM resynthesis of musical instrument sounds in terms of a compact set of parameters. We train the model on instrument samples extracted from the URMP dataset, and quantitatively demonstrate its comparable audio quality against selected benchmarks.

연구 동기 및 목표

• 실시간 음악 응용을 위한 잘 알려진 FM 합성기(Yamaha DX7)에 대해 연속적인 오디오 기반 제어를 가능하게 하기.
• 미분 가능한 합성 훈련 중 표준 스펙트럼 재구성 손실에서 음정 방향의 부재를 해결하기.
• 고차원 파arameter 공간의 복잡성을 피하기 위해 오디오 입력에서 FM 파arameter를 제어하는 데 학습하는 경량이며 해석 가능한 모델 개발하기.
• 실시간 추론 능력을 유지함으로써 라이브 연주와의 호환성 확보하기.

제안 방법

• 모델는 연속적인 오디오 특징에서 FM 합성 파arameter(캐리어 주파수, 모듈레이터 주파수, 변조 지수, 음색 모양)를 예측하기 위해 인과적 시간 컨volution 네트워크( TCN)를 사용한다.
• 패치 제약 조건이 적용되어 오실레이터 수와 그 상호 연결성을 제한하여, 모델이 작고 음악적으로 의미 있는 FM 아키텍처를 제어하도록 유도한다.
• 모델는 표준 스펙트럼 재구성 손실(예: STFT 손실)을 사용하여 훈련되며, 주파수 대역 전체에서 진폭 오차를 최소화하는 데 중점을 둔다.
• FM 합성 엔진은 완전히 미분 가능하여, 합성 과정을 통해 역전파가 가능하고 네트워크 가중치 최적화가 가능하다.
• 기존 DX7의 ADSR 음색을 입력 오디오에서 유추된 학습 가능한 시간에 따라 변하는 음색으로 대체한다.
• 모델는 URMP 데이터셋의 악기별 구성에 대해 Fréchet Audio Distance(FAD)와 아블레이션 연구를 통해 평가된다.

실험 결과

연구 질문

• RQ1 미분 가능한 FM 합성 모델이 오직 소수의 파arameter로도 높은 품질의 재합성을 달성하면서 실시간 호환성을 유지할 수 있는가?
• RQ2 FM 아키텍처에 패치 제약 조건을 적용할 경우, 더 복잡한 베이스라인 대비 복잡한 톤을 재구성하는 데에 모델의 능력에 어떤 영향을 미치는가?
• RQ3 DNN이 오디오 입력에서 직접 의미 있는 FM 파arameter(예: 변조 지수, 주파수 비율, 음색 모양)를 유추할 수 있는 정도는 어느 정도인가?
• RQ4 스펙트럼 특성이 다른 악기들 사이에서 모델 성능이 다를 수 있는가, 만약 그렇다면 그 이유는 무엇인가?
• RQ5 DDX7와 같은 경량이며 인과적인 아키텍처가 더 복잡한 모델에 비해 낮은 계산 비용을 유지하면서도 청각적 품질에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• DDX7는 오직 6개의 파arameter로도 높은 품질의 재합성을 달성하며, 최적의 $I_{\text{max}}$ 설정에서 플루트와 바이올린에서 더 복잡한 121개 파arameter를 가진 베이스라인(HpN)보다 FAD 점수에서 뛰어난 성능을 보였다.
• 플루트와 바이올린의 경우 DDX7는 $I_{\text{max}} = 2$에서 최고의 FAD 성능를 기록했고, 트럼펫의 경우 $I_{\text{max}} = 2\pi$에서 최적 성능를 기록하여 악기별 최적의 변조 지수 범위를 확인했다.
• 바이올린과 플루트의 경우, 6개 오실레이터를 사용한 DDX7가 2개 오실레이터로 제한된 아블레이션 버전보다 성능이 뛰어나, 이는 이 악기들에 대해 오실레이터 자유도가 높을수록 재구성 품질이 향상됨을 시사한다.
• 트럼펫의 경우, 2개 오실레이터 구성이 4개와 6개 오실레이터 버전보다 성능이 뛰어나, 이는 모델 복잡도가 항상 성능 향상에 기여하지 않으며, 비효율적인 패치 설계로 인해 성능 저하가 발생할 수 있음을 나타낸다.
• 2개 오실레이터 트럼펫 모델은 HpN 베이스라인조차도 FAD 점수에서 뛰어나, 최소한의 파arameter화로도 높은 품질의 재합성이 가능함을 입증했다.
• 모델는 $I_{\text{max}}$를 너무 높게 설정할 경우 불안정성이 나타나 자연스럽지 않은 톤과 열악한 실내 응답 추정을 유도함을 확인했으며, 이는 철저한 하이퍼파rameter 튜닝의 필요성을 시사한다.