[논문 리뷰] Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion

Yujia Huang, Adishree Ghatare외 7명|arXiv (Cornell University)|2024. 02. 22.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 확산 모델을 사용하여 비미분 가능한 규칙 지침 기반 기호 음악 생성을 위한 플러그 앤 플레이 방법인 Stochastic Control Guidance (SCG)를 소개한다. SCG는 각 단계에서 여러 경로 실현을 샘플링하고 규칙을 충족하는 것을 선택함으로써, 훈련이 필요 없고 고해상도(10ms) 음악 생성을 가능하게 하며, 우수한 제어 가능성과 품질을 제공한다. 이는 기존 최고 수준의 베이스라인에 비해 규칙 준수와 음악 품질 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

We study the problem of symbolic music generation (e.g., generating piano rolls), with a technical focus on non-differentiable rule guidance. Musical rules are often expressed in symbolic form on note characteristics, such as note density or chord progression, many of which are non-differentiable which pose a challenge when using them for guided diffusion. We propose Stochastic Control Guidance (SCG), a novel guidance method that only requires forward evaluation of rule functions that can work with pre-trained diffusion models in a plug-and-play way, thus achieving training-free guidance for non-differentiable rules for the first time. Additionally, we introduce a latent diffusion architecture for symbolic music generation with high time resolution, which can be composed with SCG in a plug-and-play fashion. Compared to standard strong baselines in symbolic music generation, this framework demonstrates marked advancements in music quality and rule-based controllability, outperforming current state-of-the-art generators in a variety of settings. For detailed demonstrations, code and model checkpoints, please visit our project website: https://scg-rule-guided-music.github.io/.

연구 동기 및 목표

• 비미분 가능한 음악 규칙(예: 코드 진행, 노트 밀도 등)을 사용하여 사전 훈련된 확산 모델을 지도하는 데 도전하는 것.
• 백프로파게이션 또는 모델 미세조정 없이도 훈련이 필요 없는 플러그 앤 플레이 규칙 지도를 가능하게 하는 것.
• 표현적인 피아노 롤 생성을 위한 고해상도(10ms) 잠재 확산 아키텍처를 개발하는 것(속도 및 지속 피아노 페달 포함).
• 기존 강력한 베이스라인에 비해 더 뛰어난 음악 품질과 규칙 기반 제어 가능성을 달성하는 것.
• 기호 음악 생성을 위한 민첩하고 해석 가능하며 작곡가 友好的한 도구를 제공하는 것.

제안 방법

• 비미분 가능한 규칙 지도 기반 기호 음악 생성을 위한 새로운 알고리즘인 Stochastic Control Guidance (SCG)를 제안한다. 이는 확률적 동역학 시스템에서 최적 제어를 위한 경로 적분 제어 이론에 영감을 받았다.
• 각 샘플링 단계에서 다음 단계의 여러 실현을 생성하고, 규칙 함수를 가장 잘 만족시키며 가장 깔끔한 샘플을 제공하는 것을 선택한다.
• SCG는 규칙 함수의 순방향 평가만 필요로 하므로, 비미분 가능하거나 블랙박스이거나 기호 규칙 API와도 호환된다.
• 변환기 백본을 사용한 잠재 확산 모델을 활용하여 속도와 페달 정보를 포함한 고해상도(10ms) 기호 음악 생성을 수행한다.
• 이 프레임워크는 완전히 플러그 앤 플레이이다: SCG는 재훈련 없이도 어떤 사전 훈련된 확산 모델에도 적용 가능하다.
• 세밀한 시간 해상도에서 효율적이고 고정밀한 음악 생성을 가능하게 하는 잠재 공간 표현을 사용한다.

실험 결과

연구 질문

• RQ1 비미분 가능한 음악 규칙(예: 코드 진행, 노트 밀도 등)이 확산 모델에서 지도로 효과적으로 사용될 수 있는가?
• RQ2 훈련이 필요 없는 플러그 앤 플레이 방법이 기존 미세조정 또는 조건부 베이스라인보다 더 뛰어난 규칙 준수와 음악 품질을 달성할 수 있는가?
• RQ3 잠재 확산 모델을 사용해도 표현적인 다이내믹스와 페달 제어를 유지하면서 고해상도(10ms) 기호 음악 생성을 달성할 수 있는가?
• RQ4 규칙이 비미분 가능할 경우, 제안된 SCG 방법이 기울기 기반 지도와 비교해 제어 가능성과 샘플 품질 측면에서 어떻게 성능을 내는가?
• RQ5 SCG는 인간 작곡가가 음악 생성에서 더 해석 가능하고 민첩한 제어를 얼마나 잘 가능하게 하는가?

주요 결과

• SCG는 기호 음악 생성 분야에서 최고 수준의 성능을 달성하여, 음악 품질과 규칙 기반 제어 가능성 측면에서 강력한 베이스라인을 초월한다.
• 이 방법은 비미분 가능한 규칙을 효과적으로 사용할 수 있는 훈련이 필요 없는 지도 기능을 제공하며, 이는 기존 기울기 기반 접근 방식으로서는 이룰 수 없었던 능력이다.
• 10ms 해상도를 가진 잠재 확산 모델은 속도와 지속 피아노 페달 정보를 포함한 표현적인 피아노 롤을 성공적으로 생성한다.
• 인간 평가 결과에서 생성된 음악은 통일성, 화성, 텍스처 및 총합 매력도 측면에서 매우 높은 평가를 받았으며, 다수의 평가자가 '좋음' 또는 '매우 좋음'으로 평가했다.
• 코드 진행 일치도 측면에서 뚜렷한 향상이 있었으며, 많은 샘플이 '대체로 일치' 또는 '완벽하게 일치'로 평가되었다.
• 이 방법은 민첩하고 해석 가능하며 제어 가능한 음악 생성을 가능하게 하여 작곡가가 사용할 수 있는 유용한 창작 도구로 적합하다.