[논문 리뷰] MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE

Shih-Lun Wu, Yi‐Hsuan Yang|arXiv (Cornell University)|2021. 05. 10.

Music and Audio Processing인용 수 4

한 줄 요약

MuseMorphose는 장문의 음악과 세밀한 피아노 음악 스타일 전이를 위한 통합형 트랜스포머 VAE 모델을 제안하며, 주기적 강도와 다성성에 대한 바 수준의 제어를 가능하게 하는 인-어텐션 조건부 기반 기법을 사용한다. 장기 시퀀스 생성과 정밀한 분리된 속성 제어를 결합함으로써, RNN 기반 기준 모델보다 핵심 스타일 전이 지표에서 뛰어난 성능을 발휘한다.

ABSTRACT

Transformers and variational autoencoders (VAE) have been extensively employed for symbolic (e.g., MIDI) domain music generation. While the former boast an impressive capability in modeling long sequences, the latter allow users to willingly exert control over different parts (e.g., bars) of the music to be generated. In this paper, we are interested in bringing the two together to construct a single model that exhibits both strengths. The task is split into two steps. First, we equip Transformer decoders with the ability to accept segment-level, time-varying conditions during sequence generation. Subsequently, we combine the developed and tested in-attention decoder with a Transformer encoder, and train the resulting MuseMorphose model with the VAE objective to achieve style transfer of long pop piano pieces, in which users can specify musical attributes including rhythmic intensity and polyphony (i.e., harmonic fullness) they desire, down to the bar level. Experiments show that MuseMorphose outperforms recurrent neural network (RNN) based baselines on numerous widely-used metrics for style transfer tasks.

연구 동기 및 목표

• 트랜스포머(장기 시퀀스 모델링)의 강점과 VAE(제어 가능한 생성)의 강점을 융합하여 상징적 음악 생성에 활용하고자 한다.
• 장기 음악 생성 중에 리듬 강도 및 다성성과 같은 음악적 속성에 대해 세분화된 세그먼트 수준(바 수준)의 제어를 가능하게 하고자 한다.
• 보조 손실 항목 없이도 전곡 생성과 정밀한 속성 전이를 모두 지원하는 단일 통합 모델을 개발하고자 한다.
• 사전 어텐션, 인-어텐션, 사후 어텐션과 같은 다양한 조건부 기법이 자동회귀 트랜스포머 디코더의 제어에 얼마나 효과적인지 조사하고자 한다.
• 작업 특화 보조 목표에 의존하지 않고도 고해상도, 다양한, 독립적으로 제어 가능한 음악 생성을 달성할 수 있는 VAE로 훈련된 트랜스포머 모델의 가능성을 입증하고자 한다.

제안 방법

• 인-어텐션 조건부 기법을 도입하여, 시간에 따라 변화하는 조건부 벡터를 트랜스포머 디코더의 어텐션 메커니즘에 주입하기 위해 쿼리, 키, 밸류 프로젝션을 수정한다.
• 전체 음악 시퀀스를 잠재 공간으로 매핑하기 위해 트랜스포머 인코더를 사용하고, 잠재 코드와 세그먼트 수준의 조건부 정보를 활용해 시퀀스를 재구성하기 위한 조건부 트랜스포머 디코더를 적용한다.
• 순환적 KL 안내와 자유 비트를 포함한 VAE 목적함수를 통해 모델을 엔드 투 엔드로 훈련시키며, 훈련의 안정성과 분리 표현의 향상을 도모한다.
• 분리된 속성 제어를 지원하기 위해 벡터 양자화 잠재 공간을 사용하여 다성성 및 리듬 강도와 같은 특정 음악적 특징을 조작할 수 있도록 한다.
• 다양성과 품질의 균형을 위해 온도 조절과 잘라내기 조정을 적용한 뉴클레오스 샘플링을 사용한다.
• 제거 실험을 통해 조건부 기법의 성능을 평가하여, 인-어텐션 기법이 제어력과 유창성 측면에서 사전 및 사후 어텐션보다 뛰어남을 입증한다.

Figure 1 : Visualizations of an original music excerpt (top) and one of its style-transferred generations by MuseMorphose (bottom). Digits in the upper and lower rows represent our target attributes being controlled, namely, bar-wise rhythmic intensity and polyphony classes, respectively.

실험 결과

연구 질문

• RQ1 인-어텐션 조건부 기법은 자동회귀 트랜스포머 디코더에서 음악적 속성에 대해 더 효과적이고 안정적인 바 수준 제어를 가능하게 하는가?
• RQ2 VAE 훈련을 통해 트랜스포머 인코더와 조건부 가역 트랜스포머 디코더를 결합할 경우, RNN 기반 VAE보다 전곡 스타일 전이 성능이 향상되는가?
• RQ3 단일 VAE 기반 모델이 보조 손실 항목 없이도 고해상도, 다양한, 독립적으로 제어 가능한 음악 생성을 얼마나 잘 달성할 수 있는가?
• RQ4 생성 길이가 증가함에 따라 MuseMorphose의 성능, 특히 속성 제어력과 다양성 측면에서 어떻게 변화하는가?
• RQ5 인-어텐션 기법은 리듬 강도나 다성성보다 빈도가 낮게 변화하는 조건, 예를 들어 조성 또는 악기 편성과 같은 다른 유형의 음악적 조건에도 일반화 가능한가?

주요 결과

• 인-어텐션 조건부 기법은 제거 실험에서 사전 및 사후 어텐션 기법보다 속성 제어력과 시퀀스의 자연스러움 측면에서 가장 뛰어난 성능을 기록했다.
• MuseMorphose는 보조 손실 항목 없이도 두 개의 RNN 기반 기준 모델보다 속성 제어력, 신뢰도, 다양성 등의 표준 스타일 전이 지표에서 뛰어난 성능을 보였다.
• 8바이트에서 96바이트까지의 다양한 생성 길이 동안 일관된 성능 유지를 보였으며, 긴 길이에서는 약간의 속성 제어력과 리듬감 있는 다양성 감소가 관찰되었다.
• VAE 목적함수에 순환적 KL 안내와 자유 비트를 적용한 것이 모델 성공에 결정적인 영향을 미쳤으며, 이는 안정적인 훈련과 분리된 잠재 표현을 가능하게 했다.
• 모델는 리듬 강도와 다성성을 강력하게 분리하여 바 수준에서 이들의 속성을 독립적으로 조작할 수 있음을 입증했다.
• 이 프레임워크는 자연어 처리(NLP) 분야에도 일반화 가능하며, 감성 제어 및 교육적 콘텐츠의 난이도 조정 등 응용 가능성이 있다.

(a) Pre-attention conditioning