[논문 리뷰] MusPy: A Toolkit for Symbolic Music Generation

Hao‐Wen Dong, Ke Chen외 2명|arXiv (Cornell University)|2020. 08. 05.

Music and Audio Processing참고 문헌 33인용 수 23

한 줄 요약

MusPy는 데이터 입출력, 사전 처리, 데이터셋 관리 및 모델 평가를 단순화하는 오픈소스 파이썬 툴킷이다. 이는 교차 데이터셋 일반화 분석을 가능하게 하여, LMD와 같은 크고 다양한 데이터셋에서 훈련된 모델이 더 잘 일반화됨을 밝히며, 이질적인 데이터셋을 조합함으로써 모델의 강건성과 다양한 영역으로의 일반화 능력 향상이 가능함을 보여준다.

ABSTRACT

In this paper, we present MusPy, an open source Python library for symbolic music generation. MusPy provides easy-to-use tools for essential components in a music generation system, including dataset management, data I/O, data preprocessing and model evaluation. In order to showcase its potential, we present statistical analysis of the eleven datasets currently supported by MusPy. Moreover, we conduct a cross-dataset generalizability experiment by training an autoregressive model on each dataset and measuring held-out likelihood on the others---a process which is made easier by MusPy's dataset management system. The results provide a map of domain overlap between various commonly used datasets and show that some datasets contain more representative cross-genre samples than others. Along with the dataset analysis, these results might serve as a guide for choosing datasets in future research. Source code and documentation are available at https://github.com/salu133445/muspy .

연구 동기 및 목표

• 데이터 처리 및 평가를 표준화하는 통합적이고 확장 가능한 툴킷이 부족한 문제를 해결하기 위해.
• 다양한 음악 데이터셋, 포맷, 표현 방식에 대해 일관된 인터페이스를 제공함으로써 재현 가능하고 효율적인 연구를 가능하게 하기 위해.
• 11개의 일반적으로 사용되는 심볼릭 음악 데이터셋 간의 통계적 및 구조적 차이를 분석하기 위해.
• 음악 생성 모델의 교차 데이터셋 일반화 능력을 평가하고 데이터셋 선택을 안내하기 위해.
• 이질적인 데이터셋을 조합함으로써 모델의 일반화 능력 향상 여부를 조사하기 위해.

제안 방법

• MusPy는 다양한 포맷에서 심볼릭 음악을 표현하기 위해 중심이 되는 'Music' 객체를 제공하며, 저수준의 데이터 표현을 추상화한다.
• 11개의 데이터셋을 지원하며, MIDI, MusicXML, ABC 등 다양한 형식에서 자동으로 다운로드 및 파싱이 가능하다.
• 음악 생성을 위한 표준화된 사전 처리 파ip라인과 평가 지표(예: 퍼플렉서티 및 정렬 기반 지표 포함)를 포함한다.
• 교차 데이터셋 일반화 능력은 한 데이터셋에서 자코시브 모델(LSTM 등)을 훈련하고 다른 데이터셋에서 테스트함으로써 평가되며, 보류된 가능성 측정을 사용한다.
• 이질적인 데이터셋을 조합할 경우 클래스 불균형을 완화하고 일반화 능력을 향상시키기 위해 계층적 표본 추출 기법을 적용한다.
• 지속적 시간, 장르, 다성성 등의 데이터셋 특성에 대한 통계 분석을 수행하여 다양성과 구조적 특성을 비교한다.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 심볼릭 음악 데이터셋 간의 통계적 특성(지속 시간, 장르, 다성성, 노트 분포 등)은 어떻게 다름?
• RQ2 한 데이터셋에서 훈련된 모델이 다른 데이터셋으로 얼마나 잘 일반화되는가? 이 일반화 능력에 영향을 주는 요인은 무엇인가?
• RQ3 다양한 이질적인 데이터셋을 조합하면 음악 생성 모델의 일반화 성능이 향상되는가?
• RQ4 크로스-장르성과 구조적 다양성이 뛰어난 데이터셋은 왜 더 나은 사전 훈련 소스가 되는가?
• RQ5 데이터셋 크기와 표현 유형(단성음 대 다성음)이 모델의 퍼플렉서티와 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Lakh MIDI Dataset(LMD)는 크기와 크로스-장르 다양성 덕분에 가장 뛰어난 교차 데이터셋 일반화 능력을 보였다.
• 다성음 데이터셋에서 훈련된 모델은 단성음 데이터셋으로 잘 일반화되지만, 그 반대는 성립하지 않아 표현 복잡성의 계층성이 존재함을 시사한다.
• JSBach Chorale Dataset는 고정된 16분음표 해상도와 균일한 노트 지속 시간 분포로 인해 다른 데이터셋으로의 일반화 능력이 떨어짐.
• NES Music Database는 일반화에 큰 도전 과제를 안기며, 대부분의 모델이 높은 퍼플렉서티를 기록함. 이는 게임 음악의 독특한 특성 때문일 것으로 보인다.
• 11개의 모든 데이터셋을 조합하면 대부분의 타겟에서 일반화 능력 향상이 이루어지며, 계층적 표본 추출은 더 큰 데이터셋에 대한 편향을 줄이고 작은 데이터셋의 퍼플렉서티를 낮춘다.
• 퍼플렉서티는 단성음 및 다성음 그룹 내에서 데이터셋 크기와 정확히 상관관계를 보이며, 더 크고 다양한 데이터셋은 모델링하기 더 어려운 것으로 나타났다.