[논문 리뷰] Improving Polyphonic Music Models with Feature-Rich Encoding

Omar Peracha|arXiv (Cornell University)|2019. 11. 26.

Music and Audio Processing참고 문헌 21인용 수 6

한 줄 요약

이 논문은 음악적 특징(예: 코드)을 추가로 예측하도록 모델을 조정하거나 훈련시켜 다성음 음악 생성을 향상시키기 위한 기능이 풍부한 인코딩 접근법을 제안한다. TonicNet라는 GRU 기반 모델을 사용하여 각 타임스텝에서 먼저 코드를 예측한 후 개별 보이스의 음을 생성함으로써, JSB Chorales 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 더 rich한 시퀀스 표현을 통합함으로써 검증 손실을 크게 감소시켰다.

ABSTRACT

This paper explores sequential modelling of polyphonic music with deep neural networks. While recent breakthroughs have focussed on network architecture, we demonstrate that the representation of the sequence can make an equally significant contribution to the performance of the model as measured by validation set loss. By extracting salient features inherent to the training dataset, the model can either be conditioned on these features or trained to predict said features as extra components of the sequences being modelled. We show that training a neural network to predict a seemingly more complex sequence, with extra features included in the series being modelled, can improve overall model performance significantly. We first introduce TonicNet, a GRU-based model trained to initially predict the chord at a given time-step before then predicting the notes of each voice at that time-step, in contrast with the typical approach of predicting only the notes. We then evaluate TonicNet on the canonical JSB Chorales dataset and obtain state-of-the-art results.

연구 동기 및 목표

• 노트 시퀀스 외에 더 풍부한 시퀀스 표현(예: 코드 등)이 다성음 음악 생성에 기여하는지 조사하기 위해
• 표준 모델이 음악적 구조적 특징을 모델링하지 못하는 한계를 해결하기 위해
• 핵심 음악적 특징(예: 코드)을 조건 또는 예측하여 시퀀스 모델링을 향상시키는 모델을 개발하기 위해
• 더 복잡한 시퀀스에 추가 기능을 포함시킴으로써 전체 성능 향상이 이루어지는지 입증하기 위해
• 기능이 풍부한 인코딩을 사용하여 표준적인 JSB Chorales 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해

제안 방법

• 제안된 모델인 TonicNet는 각 타임스텝에서 먼저 코드를 예측한 후 개별 보이스의 음을 생성하기 위해 GRU 기반 아키텍처를 사용한다.
• 모델은 코드 및 노트 시퀀스를 동시에 예측하도록 훈련되며, 전체 시퀀스를 다중 출력 예측 작업으로 간주한다.
• 훈련 데이터셋에서 추출된 핵심 특징(예: 코드)은 시퀀스 표현의 일부로 사용된다.
• 모델은 이러한 특징을 조건 또는 예측하도록 훈련되어, 목표 시퀀스의 복잡도를 효과적으로 높인다.
• 훈련 목표는 코드 예측 헤드와 노트 예측 헤드 양쪽의 손실을 최소화하는 데 있다.
• 모델은 코드의 구조적 정보를 활용하여 개별 보이스의 생성을 안내함으로써 시간적 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 노트 시퀀스 외에 코드와 같은 추가 음악적 특징을 함께 모델링하면 다성음 음악 생성 모델의 성능 향상이 이루어지는가?
• RQ2 더 복잡한 시퀀스(예: 코드 포함)를 예측하도록 훈련하는 것이 전체 생성 품질 향상과 낮은 검증 손실을 이끌어내는가?
• RQ3 데이터셋에서 추출한 핵심 특징을 조건 또는 예측하도록 훈련시키는 것이 모델이 일관된 다성음 음악을 생성하는 데 미치는 영향은 무엇인가?
• RQ4 먼저 코드를 예측하고 나서 음을 생성하는 계층적 생성 전략은 종단 간 음만 예측하는 것보다 모델 성능을 향상시키는가?
• RQ5 JSB Chorales 데이터셋 맥락에서 기능이 풍부한 인코딩이 표준 시퀀스 모델링보다 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• TonicNet는 JSB Chorales 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 추가 기능을 모델링함으로써 생성 품질 향상이 이루어짐을 입증하였다.
• 시퀀스 모델링 작업에 코드 예측을 포함시킴으로써 표준 모델 대비 검증 세트 손실이 크게 감소하였다.
• 모델이 동시에 코드와 음을 예측하도록 훈련시킴으로써 더 일관되고 화성적으로 정확한 다성음 시퀀스가 생성되었다.
• 모델의 계층적 생성 전략(코드 예측 후 음 예측)은 생성된 음악의 시간적 및 화성 일관성을 향상시켰다.
• 성능 향상은 더 풍부한 음악적 구조 표현 덕분이며, 이는 기능이 풍부한 인코딩이 아키텍처 혁신만큼 영향력이 있음을 보여준다.
• 결과는 더 복잡한 시퀀스에 추가 기능을 포함시킴으로써 음악 생성 작업의 일반화 및 모델링 정확도 향상이 이루어짐을 확인시켰다.