[논문 리뷰] Supervised Symbolic Music Style Translation Using Synthetic Data

Ondřej Cífka, Umut Şimşekli외 1명|arXiv (Cornell University)|2019. 07. 04.

Music and Audio Processing참고 문헌 32인용 수 12

한 줄 요약

이 논문은 실제 데이터셋이 부족한 문제를 보완하기 위해 합성 데이터를 사용하여 심벌릭 음악 스타일 번역을 위한 처음으로 완전히 지도 학습된 신경망 모델을 제안한다. 동일한 음악을 여러 스타일로 변환한 무제한의 쌍체 데이터를 생성함으로써, 목표 스타일 임bedding에 조건부된 인코더-디코더 아키텍처를 훈련시켜, 실재 MIDI 입력에 대해서도 예상치 못한 스타일 간에도 고품질이고 음악적으로 일관된 번역을 달성한다.

ABSTRACT

Research on style transfer and domain translation has clearly demonstrated the ability of deep learning-based algorithms to manipulate images in terms of artistic style. More recently, several attempts have been made to extend such approaches to music (both symbolic and audio) in order to enable transforming musical style in a similar manner. In this study, we focus on symbolic music with the goal of altering the 'style' of a piece while keeping its original 'content'. As opposed to the current methods, which are inherently restricted to be unsupervised due to the lack of 'aligned' data (i.e. the same musical piece played in multiple styles), we develop the first fully supervised algorithm for this task. At the core of our approach lies a synthetic data generation scheme which allows us to produce virtually unlimited amounts of aligned data, and hence avoid the above issue. In view of this data generation scheme, we propose an encoder-decoder model for translating symbolic music accompaniments between a number of different styles. Our experiments show that our models, although trained entirely on synthetic data, are capable of producing musically meaningful accompaniments even for real (non-synthetic) MIDI recordings.

연구 동기 및 목표

• 심벌릭 음악 스타일 번역을 위한 정렬된 데이터셋 부족 문제를 해결하여, 기존에 비지도 학습에 국한된 방법을 넘어서고자 한다.
• 粗모양의 장르 레이블을 넘어서 세밀한 스타일 전이를 학습할 수 있는 지도 학습 접근법을 개발하고자 한다.
• 화성 구조를 유지하면서 다양한 목표 스타일로 랩(베이스 및 피아노) 악보를 종단 간 번역할 수 있도록 하고자 한다.
• 단지 합성 데이터로만 훈련된 모델이 실재의 예상치 못한 MIDI 녹음에 대해 얼마나 일반화되는지 평가하고자 한다.
• 번역 품질을 평가하기 위해 새로운 목적 함수 기반의 음악 스타일 유사도 측정 기준을 도입하고자 한다.

제안 방법

• 합성 데이터 생성 파이프라인은 단일 소스 스코어에 스타일별 변환을 적용하여 다수의 스타일에서 쌍체 음악 세그먼트를 생성한다.
• 모델은 입력 음악(콘텐츠)을 목표 스타일로 매핑하도록 훈련되며, 학습된 스타일 임베딩 벡터에 조건부로 작동한다.
• 모델은 콘텐츠 표현을 위한 공통 인코더와 스타일 임베딩에 기반해 베이스 및 피아노 트랙을 동시에 생성하는 조건부 디코더를 사용한다.
• 훈련 중에 대비 목표 함수를 통해 스타일 임베딩을 학습함으로써 분리되고 의미 있는 스타일 표현을 가능하게 한다.
• 조화 및 리듬적 특징을 기반으로 한 새로운 목적 함수 기반 측정 기준을 도입하여 생성된 음악과 목표 스타일 간의 스타일 유사도를 평가한다.
• 신경 기계 번역에서 유래한 기법을 심벌릭 음악에 적용하고 스타일 조건부 처리를 통합한다.

실험 결과

연구 질문

• RQ1 실제로 정렬된 데이터가 전혀 없는 상황에서 심벌릭 음악 스타일 번역을 위한 완전한 지도 학습 접근법이 효과적으로 작동할 수 있는가?
• RQ2 합성 데이터 생성이 실재 MIDI 입력에 일반화되기 위해 충분히 현실적이고 다양한 훈련 쌍체를 생성할 수 있는가?
• RQ3 학습된 스타일 임베딩에 기반해 단일 디코더를 조건부로 설정함으로써 다수의 서로 다른 음악 스타일 간에 고품질 번역이 가능한가?
• RQ4 단일 스타일 쌍체로 훈련하는 것과 다수의 스타일로 훈련하는 것의 성능을 실재의 예상치 못한 데이터에 대한 일반화 능력 측면에서 비교할 수 있는가?
• RQ5 학습된 스타일 임베딩 공간이 의미 있고 분리된 음악 스타일 특징을 잘 포착하는가?

주요 결과

• 합성 데이터로만 훈련된 모델은 실재 MIDI 녹음에 대해 잘 일반화되어 있으며, 음악적으로 일관되고 스타일적으로 정확한 베이스 및 피아노 악보를 생성한다.
• 70→70 모델(70개 스타일로 훈련)은 단일 스타일 쌍체로 훈련된 1→1 모델보다 실세계 데이터에 대해 훨씬 더 우수한 일반화 성능을 보이며, 다수 스타일 훈련의 이점이 확인된다.
• 스피커 분석을 통해 스타일 임베딩 공간은 '균형 잡힌'과 '스윙' 감각 스타일 간에 명확한 분리가 이루어져 있음을 확인할 수 있었으며, 이는 의미 있는 기하학적 특성을 지님을 시사한다.
• 복잡한 리듬 패턴을 생성할 때도 콘텐츠 보존 측정 기준을 통해 조화적 구조가 효과적으로 유지됨을 확인할 수 있었다.
• 일부 경우에 시간 오차가 발생하나(특히 싱코파티드 감각의 리듬에서), 생성된 트랙은 결합 시에도 일관되고 스타일적으로 일관성을 유지한다.
• 목적 함수 기반의 스타일 유사도 측정 기준은 인간의 청각적 품질 평가와 잘 상관관계를 보이며, 번역 정밀도 평가에 유용함을 입증한다.