[논문 리뷰] Explicitly Conditioned Melody Generation: A Case Study with Interdependent RNNs

Benjamin Genchel, Ashis Pati외 1명|arXiv (Cornell University)|2019. 07. 10.

Music and Audio Processing참고 문헌 19인용 수 10

한 줄 요약

이 논문은 단성 음악 선율 생성에서 명시적 음악 조건부 처리의 영향을 조사한다. 이는 음높이와 지속시간 시퀀스를 모델링하는 상호의존적인 두 개의 RNN을 사용한다. 코드 화성, 다음 코드, 바 위치, 그리고 음높이와 지속시간 간의 상호 조건부 처리를 조건부로 하여, 연구는 화성 조건부 처리가 음높이 정확도, 리듬 다양성, 음악성에 크게 기여함을 보여준다. 특히 베보프 장르에서는 키 이탈을 방지하고 표현적 표현을 향상시킨다. 조건부 처리의 상호보완적 조합이 가장 미학적으로 만족스러운 결과를 낳는다.

ABSTRACT

Deep generative models for symbolic music are typically designed to model temporal dependencies in music so as to predict the next musical event given previous events. In many cases, such models are expected to learn abstract concepts such as harmony, meter, and rhythm from raw musical data without any additional information. In this study, we investigate the effects of explicitly conditioning deep generative models with musically relevant information. Specifically, we study the effects of four different conditioning inputs on the performance of a recurrent monophonic melody generation model. Several combinations of these conditioning inputs are used to train different model variants which are then evaluated using three objective evaluation paradigms across two genres of music. The results indicate musically relevant conditioning significantly improves learning and performance, and reveal how this information affects learning of musical features related to pitch and rhythm. An informal subjective evaluation suggests a corresponding improvement in the aesthetic quality of generations.

연구 동기 및 목표

• 명시적 음악 조건부 처리가 단성 선율 생성에서 딥 생성 모델의 학습과 성능에 미치는 영향을 조사하는 것.
• 네 가지 조건부 입력—코드, 다음 코드, 바 위치, 상호 조건부 처리—의 영향을 음높이와 지속시간 모델링에서 분리하여 비교하는 것.
• 원시 데이터 패턴에만 의존하지 않고, 화성, 메트로놈, 리듬과 같은 음악적 특징을 학습하는 데에 조건부 처리가 어떻게 기여하는지 평가하는 것.
• 조건부 처리 입력 간의 상호작용과 그 영향을 목적적 평가 지표와 주관적 미학적 품질에 대해 평가하는 것.
• 특히 스코티시/아일랜드 민속 음악과 베보프 재즈 장르 간의 차이를 고려하여 조건부 처리의 효과성에 차이가 있는지 검토하는 것.

제안 방법

• 한 네트워크가 음높이 시퀀스를 모델링하고 다른 네트워크가 지속시간 시퀀스를 모델링하는 이중 RNN 아키텍처를 학습하며, 입력 임베딩을 공유한다.
• 각 네트워크를 현재 코드, 다음 코드, 바 위치, 상호 조건부 처리(음높이 네트워크가 지속시간에 의해 조건부로, 그 반대도 마찬가지)의 조합으로 조건부 처리한다.
• 음높이, 지속시간, 코드, 바 위치에 대해 원-핫 인코딩 표현을 사용하고, 의미적 표현을 학습하기 위해 학습 가능한 임베딩 레이어를 적용한다.
• 이전 컨텍스트와 조건부 처리를 기반으로 다음 노트 이벤트를 예측하는 시퀀스-투-시퀀스 작업에서 교차 엔트로피 손실을 사용해 모델을 학습한다.
• 스코티시/아일랜드 민속 음악과 베보프 재즈 두 데이터셋에서 13개의 구성(조건부 처리 없이 포함)을 평가한다. 각 데이터셋은 코드 레이블이 붙은 선율로 구성되어 있다.
• 객관적 평가 지표 세 가지—음높이 정확도, 지속시간 정확도, 화성 일관성—와 함께 생성된 선율의 비공식적 주관적 평가를 실시한다.

실험 결과

연구 질문

• RQ1 현재 및 다음 코드 화성에 대한 명시적 조건부 처리가 단성 선율 생성에서 음높이와 지속시간 예측 정확도에 어떤 영향을 미치는가?
• RQ2 바 위치와 상호 조건부 처리의 개별적 및 병합 효과는 리듬 표현과 선율 다양성에 어떤 영향을 미치는가?
• RQ3 조건부 처리 입력은 키 유지와 화성 일관성 유지 능력에 어떻게 영향을 미치며, 특히 복잡한 장르인 베보프에서 어떻게 작용하는가?
• RQ4 조건부 처리 입력 간의 상호보완적 조합이 개별 효과를 넘어서 미학적 품질을 얼마나 향상시키는가?
• RQ5 민속 음악과 베보프 재즈 장르 간의 차이에서 조건부 처리의 효과성은 어떻게 다를까?

주요 결과

• 코드 조건부 처리는 화성 일관성과 음높이 정확도를 크게 향상시켰으며, 특히 키 이탈이 자주 발생하던 베보프에서는 그 효과가 두드러졌다.
• 코드 조건부 처리가 적용된 모델은 더 음악적으로 표현적인 간격(예: 3도, 4도)을 생성했고, 조건부 처리가 없는 민속 음악 생성에서는 반복적인 온스텝(whole tone) 사용이 줄어들었다.
• 상호 조건부 처리만으로는 종종 반복적인 선율 패턴(예: 반복적인 B4 음)을 유도했지만, 코드 조건부 처리와 결합하면 이러한 문제는 완화되었다.
• 바 위치 조건부 처리는 베보프 생성에서 리듬 다양성과 표현적 표현을 향상시켰지만, 민속 음악에서는 거의 영향을 미치지 않아 장르에 따라 유용성이 다름을 시사했다.
• 코드, 상호 조건부 처리, 바 위치의 조합(CIB)이 가장 미학적으로 만족스러운 선율을 생성했으며, 이는 강력한 상호보완 효과를 시사한다.
• 다음 코드 조건부 처리에서는 종종 모델이 코드 전환을 조기에 예측하여 키 일관성 문제를 일으켰고, 특히 베보프에서 그러한 경향이 두드러져 현재 코드 조건부 처리보다 신뢰도가 낮을 수 있음을 시사한다.