[논문 리뷰] The Chamber Ensemble Generator: Limitless High-Quality MIR Data via Generative Modeling

Yusong Wu, Josh Gardner외 4명|arXiv (Cornell University)|2022. 09. 28.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 코코네트(Coconet)와 MIDI-DDSP를 조합한 노트 수준의 생성 모델과 오디오 합성 모델을 결합한 챔버 앙상블 생성기(CEG)를 제안한다. 이 파이프라인은 무한한 고품질의 완전히 애너테이션 처리된 챔버 앙상블 음악을 생성한다. 이 시스템은 코코초랄레(CocoChorales) 데이터셋을 생성하였으며, 특히 자원이 적은 악기들에 대해 음악 전사 및 소스 분離 작업에서 최신 기술 수준을 크게 향상시켰다.

ABSTRACT

Data is the lifeblood of modern machine learning systems, including for those in Music Information Retrieval (MIR). However, MIR has long been mired by small datasets and unreliable labels. In this work, we propose to break this bottleneck using generative modeling. By pipelining a generative model of notes (Coconet trained on Bach Chorales) with a structured synthesis model of chamber ensembles (MIDI-DDSP trained on URMP), we demonstrate a system capable of producing unlimited amounts of realistic chorale music with rich annotations including mixes, stems, MIDI, note-level performance attributes (staccato, vibrato, etc.), and even fine-grained synthesis parameters (pitch, amplitude, etc.). We call this system the Chamber Ensemble Generator (CEG), and use it to generate a large dataset of chorales from four different chamber ensembles (CocoChorales). We demonstrate that data generated using our approach improves state-of-the-art models for music transcription and source separation, and we release both the system and the dataset as an open-source foundation for future work in the MIR community.

연구 동기 및 목표

• 음악 정보 검색(MIR) 분야에서 작은 크기이자 저품질의 데이터셋이 초래하는 심각한 성능 저하 문제를 해결하기 위해.
• 데이터 증강 및 비지도 학습의 한계를 극복하기 위해 풍부하고 구조화된 애너테이션을 가진 합성 데이터를 생성하기 위해.
• 향후 MIR 연구를 위한 확장 가능한 오픈소스 기반을 마련하기 위해, 챔버 앙상블 연주 기록의 대규모 고해상도 데이터셋을 구축하기 위해.
• 이전에 데이터 부족으로 인해 개선이 어려웠던 저자원 악기들(예: 오보에, 바순)을 위한 최신 기술 수준의 모델 학습을 가능하게 하기 위해.
• 구조화된 생성 파이프라인을 통해 생성된 합성 데이터가 실세계 데이터셋을 능가하는 성능을 보일 수 있음을 입증하기 위해.

제안 방법

• 바흐의 차라일레를 기반으로 훈련된 코코네트를 사용하여 악기 레이블과 표현적 연주 특성(예: 스타카토, 빠르게 진동)을 포함한 4악합 음악 표기법을 생성한다.
• URMP 데이터셋으로 훈련된 MIDI-DDSP를 활용하여 생성된 노트 시퀀스에서 고해상도 오디오를 합성하고, 악기 스테임과 전체 믹스를 생성한다.
• 중간 표현(노트 데이터, 표현 데이터, 합성 파rameter)을 유지하고 수정 가능한 계층적 생성 파이프라인을 설계한다.
• 조화 편성, 템포, 마이크로타이밍, 톤 보정 등의 중간 단계에서 제어 가능한 수정을 적용하여 다양성과 현실감을 높인다.
• 24만 개의 고유한 연주를 생성하여, 정렬된 오디오 믹스, 스테임, MIDI 파일, 노트 수준의 연주 애너테이션을 포함한 코코초랄레 데이터셋을 구성한다.
• CEG 시스템과 코코초랄레 데이터셋을 모두 오픈소스로 공개하여 향후 MIR 연구의 가속화를 도모한다.

실험 결과

연구 질문

• RQ1 구성된 생성 모델링 파이프라인은 충분한 현실감과 풍부한 애너테이션을 지닌 합성 MIR 데이터를 생성하여 실세계 데이터셋을 초월할 수 있는가?
• RQ2 구조화된 생성 계층에서 유래한 합성 데이터는 음악 전사 및 소스 분리 작업에서 어느 정도의 성능 향상을 이룰 수 있는가?
• RQ3 챔버 앙상블 생성기는 기존 데이터셋에서 부족한 저자원 악기들(예: 오보에, 바순)에 대해 고품질 오디오를 생성할 수 있는가?
• RQ4 노트 수준의 표현 및 합성 파rameter와 같은 세밀한 애너테이션의 포함 여부가 MIR 작업의 모델 성능에 어떤 영향을 미치는가?
• RQ5 생성 모델링을 통한 데이터 증폭은 향후 MIR 연구를 위한 확장 가능한 오픈소스 기반으로 기능할 수 있는가?

주요 결과

• 챔버 앙상블 생성기를 통해 생성된 코코초랄레 데이터셋은 URMP 데이터셋에서 최신 기술 수준의 음악 전사 모델이 가장 높은 성능 기록을 달성할 수 있도록 했다.
• 코코초랄레 데이터셋으로 훈련된 전사 모델은 실세계 데이터만으로 훈련된 기준 모델 대비 F0 정확도에서 1.24 dB 향상된 성능을 기록했다.
• 코코초랄레 데이터셋으로 훈련된 소스 분리 모델은 우드웨인드 앙상블 테스트 세트에서 플루트(18.71 dB), 오보에(17.28 dB), 클라리넷(21.01 dB), 바순(20.68 dB)의 평균 SI-SDR 점수를 기록했다.
• CEG로 생성된 데이터 덕분에 오보에 데이터 기반으로 360시간의 학습 데이터를 확보할 수 있었으며, 원본 URMP 데이터셋의 12분 미만에 못 미치는 자원을 초월해 과적합을 방지할 수 있었다.
• 코코초랄레 데이터셋으로부터의 성능 향상은 URMP 데이터셋에 국한되었으며, 다른 벤치마크 데이터셋에서 성능 저하가 발생하지 않았다. 이는 부정적 전이가 발생하지 않았음을 의미한다.
• 결과적으로 풍부하고 구조화된 애너테이션을 지닌 합성 데이터가 실세계 데이터셋을 효과적으로 확장하고 저자원 MIR 작업에서 새로운 능력을 가능하게 할 수 있음을 입증했다.