[논문 리뷰] MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling

Yusong Wu, Ethan Manilow외 7명|arXiv (Cornell University)|2021. 12. 17.

Music Technology and Sound Studies인용 수 10

한 줄 요약

MIDI-DDSP는 해석 가능한 Differentiable Digital Signal Processing (DDSP)와 학습된 사전 지식을 조합한 계층적 신경 음향 합성 모델로, 음악적 연주에 대한 세밀한 사용자 제어 기능을 갖춘 고음질 음향 생성을 가능하게 한다. 이 모델은 노트, 표현적 연주, 합성 파라미터의 3단계 계층으로 음악을 모델링하여 어느 수준에서든 간섭이 가능하며, 청취 테스트에서 FluidSynth, DDSP Inference, Ableton 등의 기준 모델을 능가하는 최신 기술 수준의 현실감과 제어력을 확보한다.

ABSTRACT

Musical expression requires control of both what notes are played, and how they are performed. Conventional audio synthesizers provide detailed expressive controls, but at the cost of realism. Black-box neural audio synthesis and concatenative samplers can produce realistic audio, but have few mechanisms for control. In this work, we introduce MIDI-DDSP a hierarchical model of musical instruments that enables both realistic neural audio synthesis and detailed user control. Starting from interpretable Differentiable Digital Signal Processing (DDSP) synthesis parameters, we infer musical notes and high-level properties of their expressive performance (such as timbre, vibrato, dynamics, and articulation). This creates a 3-level hierarchy (notes, performance, synthesis) that affords individuals the option to intervene at each level, or utilize trained priors (performance given notes, synthesis given performance) for creative assistance. Through quantitative experiments and listening tests, we demonstrate that this hierarchy can reconstruct high-fidelity audio, accurately predict performance attributes for a note sequence, independently manipulate the attributes of a given performance, and as a complete system, generate realistic audio from a novel note sequence. By utilizing an interpretable hierarchy, with multiple levels of granularity, MIDI-DDSP opens the door to assistive tools to empower individuals across a diverse range of musical experience.

연구 동기 및 목표

• 기존 시스템이 균형을 이루지 못하는 현실적인 신경 음향 합성과 세밀한 음악적 제어 사이의 격차를 메우기 위해.
• 해석 가능성을 유지하면서도 고음질 음향 생성이 가능한 체계적인 계층적 생성 모델을 구축하기 위해.
• 사용자가 노트 시퀀스, 표현적 연주, 또는 합성 파라미터 수준에서 간섭할 수 있도록 하되, 학습된 사전 지식을 통한 자동 생성도 지원하기 위해.
• 모든 음악 경험 수준의 사용자를 지원할 수 있는 보조 음악 창작 도구를 제공하기 위해 해석 가능하고 제어 가능한 음향 합성을 구현하기 위해.
• 연주 및 합성에 대한 학습된 사전 지식이 새로운 노트 시퀀스에서 정확한 속성 제어를 통해 현실적인 음향을 생성할 수 있음을 입증하기 위해.

제안 방법

• MIDI-DDSP는 3단계 계층을 사용한다: 노트(MIDI 입력), 표현적 연주(빈티모, 다이내믹스, 아티큘레이션), 합성 파라미터(DDSP 기반).
• 학습 가능한 모듈 3종을 활용한다: DDSP Inference(오디오에서 합성 파라미터 추출), Expression Generator(노트에서 표현적 특징 추출), Synthesis Generator(연주 및 합성 파라미터에서 오디오 생성).
• 노트 감지, 특징 추출, DDSP 합성에 고정된 미분 가능한 함수를 사용하여 종단 간 전이 가능하고 해석 가능한 구조를 확보한다.
• 각 수준이 이전 수준에 조건화된 계층적 오토인코더 유사 구조를 취함으로써, 어느 단계에서든 조건부 생성이 가능하다.
• 재구성 손실과 청각 손실의 조합을 사용하여 단음색 악기 녹음 데이터를 학습하며, 음향 품질과 표현적 세부 사항을 유지한다.
• 잠재 공간 내의 추론 및 최적화를 통해 추론 기반 생성(예: 노트에서 오디오 생성)과 분리된 제어(예: 빈티모를 독립적으로 수정)를 지원한다.

Figure 1: (Left) The MIDI-DDSP architecture. MIDI-DDSP extracts interpretable features at the performance and synthesis levels, building a modeling hierarchy by learning feature generation at each level. Red and blue components indicate encoding and decoding respectively. Shaded boxes represent modu

실험 결과

연구 질문

• RQ1 계층적 모델이 고음질 음향 합성과 음악적 연주에 대한 세밀한 사용자 제어를 동시에 달성할 수 있는가?
• RQ2 주어진 노트 시퀀스에 표현적 속성을 포함해 오디오를 얼마나 잘 재구성할 수 있는가?
• RQ3 빈티모, 다이내믹스, 톤 등 표현적 속성을 얼마나 독립적으로 조작하면서도 현실감을 유지할 수 있는가?
• RQ4 사람들의 청취 테스트에서 모델의 청각 품질이 FluidSynth, DDSP Inference, Ableton 등의 기준 모델과 비교해 어떻게 되는가?
• RQ5 학습된 사전 지식을 사용해 새로운, 볼 수 없는 노트 시퀀스에서 현실적인 오디오를 생성할 수 있는가?

주요 결과

• 청취 테스트에서 MIDI-DDSP는 모든 기준 모델보다 강한 선호도를 보였으며, 64명의 참가자 중 44명이 Ground-truth 오디오보다 이를 선호했다(p = 0.00018), 이는 높은 청각적 현실감을 의미한다.
• 입력 제어 파라미터와 출력 오디오 속성 간에 높은 피어슨 상관계수(r > 0.7)를 확보했으며, 예를 들어 볼륨의 경우 0.99, 밝기의 경우 0.96로 강력한 제어 정밀도를 입증했다.
• MIDI-DDSP는 DDSP Inference 및 FluidSynth보다 청각 선호도에서 유의미하게 뛰어나, 모든 쌍 비교에서 p < 0.01이었고, 유일하게 두 쌍(DDSP Inference vs. Ground-truth, MIDI2Params vs. FluidSynth)을 제외하고는 모두 유의미했다.
• 노트 시퀀스에서 표현적 연주 속성(예: 빈티모, 다이내믹스)을 정확히 예측했으며, 바이올린, 첼로, 오보에 등 테스트한 모든 악기에서 높은 상관관계를 보였다.
• 표현적 속성(예: 빈티모 또는 어택 노이즈)을 독립적으로 조작한 결과, 청각적으로 타당하고 현실적인 오디오가 생성되어 분리 가능성과 제어 가능성의 성공을 확인했다.
• 학습된 사전 지식을 활용해 새로운 노트 시퀀스에서 고음질 오디오를 성공적으로 생성했으며, 이는 음악 제작 워크플로우에서 창의적 보조 도구로서의 유용성을 입증했다.

Figure 2: An example of detailed user control. Given an initial generation from the full MIDI-DDSP model (top), an expert musician can adjust notes (blue), performance attributes (green), and low-level synthesis parameters (yellow) to craft a personalized expression of a musical piece (bottom).