[논문 리뷰] SurpriseNet: Melody Harmonization Conditioning on User-controlled Surprise Contours

Yi-Wei Chen, Hung-Shin Lee외 2명|arXiv (Cornell University)|2021. 08. 01.

Music and Audio Processing참고 문헌 33인용 수 5

한 줄 요약

SurpriseNet는 마르코프 체인 전이 확률에서 유도된 사용자가 정의한 놀라움 윤곽을 조건으로 삼는 조건부 변동 자동부호화기(CVAE)이다. 주어진 놀라움 윤곽과 생성된 놀라움 윤곽 간의 강한 일치를 달성한다(Spearman의 ρ = 0.517, p < 0.001), 사용자 제어가 가능하고 다양하며 음악적으로 일관된 멜로디 화성화를 가능하게 하며, 633종류의 화성 공간을 확장한다.

ABSTRACT

The surprisingness of a song is an essential and seemingly subjective factor in determining whether the listener likes it. With the help of information theory, it can be described as the transition probability of a music sequence modeled as a Markov chain. In this study, we introduce the concept of deriving entropy variations over time, so that the surprise contour of each chord sequence can be extracted. Based on this, we propose a user-controllable framework that uses a conditional variational autoencoder (CVAE) to harmonize the melody based on the given chord surprise indication. Through explicit conditions, the model can randomly generate various and harmonic chord progressions for a melody, and the Spearman's correlation and p-value significance show that the resulting chord progressions match the given surprise contour quite well. The vanilla CVAE model was evaluated in a basic melody harmonization task (no surprise control) in terms of six objective metrics. The results of experiments on the Hooktheory Lead Sheet Dataset show that our model achieves performance comparable to the state-of-the-art melody harmonization model.

연구 동기 및 목표

• 사용자가 정의한 음악적 품질, 예를 들어 놀라움을 생성 과정에 통합하여 사용자 제어가 가능한 멜로디 화성화를 가능하게 하기.
• 정보 이론을 활용하여 마르코프 체인의 음정 전이 확률의 음수 로그를 사용해 시간에 따라 변화하는 놀라움 윤곽으로 음악적 놀라움을 모델링하기.
• 멜로디와 사용자가 지정한 놀라움 윤곽에 동시에 조건을 두는 조건부 VAE 프레임워크를 개발하여 표현력 있는 화성 진행을 생성하기.
• 기본 삼성화성 이외에도 확장 및 변형 화성(예: 7화성, 9화성, 11화성, 13화성, 슬래시 화성 등)을 포함하여 화성 공간을 확장하여 화성의 다양성을 높이기.
• 모델이 멜로디의 일관성과 사용자가 정의한 놀라움 역동성 모두를 충족시키는 화성 진행을 생성할 수 있는 능력을 평가하기.

제안 방법

• 일차 마르코프 체인에서 음정 시퀀스의 전이 확률의 음수 로그를 음악적 놀라움으로 모델링하여 시간에 따라 변화하는 놀라움 윤곽을 생성하기.
• 멜로디와 놀라움 윤곽에 동시에 조건을 두는 조건부 변동 자동부호화기(CVAE)를 사용하여 화성 진행의 잠재 표현을 학습하기.
• 재구성 전략을 통해 메로디, 놀라움 윤곽, 잠재 변수를 결합한 입력에서 화성 시퀀스를 재구성함으로써 모델을 훈련하고, 엔드 투 엔드 최적화를 위해 재표현 기법을 사용하기.
• 추론 단계에서는 잠재 공간에서 표준 정규 분포 사전을 샘플링하면서 멜로디와 놀라움 윤곽에 조건을 두어 다양하고 일관된 화성 진행을 생성하기.
• Hooktheory 리드시트 데이터셋의 모든 화성 유형을 포함하여 화성 어휘를 96종에서 633종으로 확장하기.
• 변형 모델(가중치 부여된 SurpriseNet)에서 클래스 가중치 손실를 적용하여 다양성을 촉진했지만, 표준 SurpriseNet에 비해 윤곽 일치도가 떨어지는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 딥 러닝 생성 모델이 사용자가 지정한 놀라움 윤곽을 충족하면서도 멜로디와 화성적으로 일관된 화성 진행을 효과적으로 생성할 수 있는가?
• RQ2 모델이 생성한 놀라움 역동성과 사용자가 제공한 놀라움 윤곽 간의 상관관계는 어느 정도이며, 이러한 일치를 가장 잘 측정하는 지표는 무엇인가?
• RQ3 확장 및 변형 화성(예: 7화성, 9화성, 11화성, 13화성, 슬래시 화성 등)을 포함하여 화성 공간을 확장하면, 화성 품질을 훼손하지 않으면서도 생성된 진행의 표현력과 다양성이 향상되는가?
• RQ4 손실 함수에 클래스 가중치를 포함시키면, 모델이 놀라움 윤곽을 따르는 능력과 희귀하거나 복잡한 화성의 생성 능력에 어떤 영향을 미치는가?
• RQ5 CVAE 기반 프레임워크는 자동 멜로디 화성화 과정에서 사용자 제어(놀라움 윤곽)와 음악적 일관성(멜로디 호환성)을 효과적으로 균형 잡을 수 있는가?

주요 결과

• SurpriseNet는 사용자가 정의한 놀라움 윤곽과 생성된 화성 진행 내 놀라움 역동성 간에 강한 일치를 보이며, 스피어만 상관계수 ρ = 0.517(p < 0.001)를 달성한다.
• 기본 CVAE 모델은 6개의 목적적 지표에서 최신 기술 수준의 멜로디 화성화 모델 [3]과 유사한 성능을 보이며, 생성 품질의 타당성을 입증한다.
• 가중치 부여된 SurpriseNet는 상관계수(ρ = 0.406)가 낮고, 복잡하거나 희귀한 화성을 과도하게 사용하는 경향을 보이며, 클래스 가중치가 윤곽 일치도를 해칠 수 있음을 시사한다.
• 생성된 화성 진행은 항상 놀라움 윤곽의 시간적 구조를 따르며, 기대되는 패tern(예: 곡 중반에 놀라움 정점)에 맞게 화성 전환 빈도의 변화가 명확하게 관찰된다.
• 모델은 정상, 역정상, 시그모이드 형태의 다양한 놀라움 윤곽에 대해 일관되게 다양하고 화성적으로 일관되며 리듬적으로 조화를 이룬 진행을 생성한다.
• 확장된 화성 공간(633종) 덕분에 7화성, 9화성, 11화성, 13화성, 슬래시 화성 등을 포함한 풍부하고 표현력 있는 진행을 생성할 수 있으며, 음악적 표현력이 향상된다.