[논문 리뷰] Modelling Symbolic Music: Beyond the Piano Roll

Christian Walder|arXiv (Cornell University)|2016. 06. 04.

Music and Audio Processing참고 문헌 3인용 수 8

한 줄 요약

이 논문은 다성음 음악을 단변량 범주형 시계열로 변환함으로써 기계적 언어 모델의 최첨단 LSTM 기반 기술을 음악 생성에 적용하는 새로운 접근법을 제안한다. 모든 음계에서의 옮김을 통한 데이터 증강과 임의의 리듬적 구조를 지원함으로써, 기준 데이터셋에서 최첨단 성능을 달성하고 이전의 RNN 기반 모델보다 더 음악적으로 정교한 출력을 생성한다.

ABSTRACT

In this paper, we consider the problem of probabilistically modelling symbolic music data. We introduce a representation which reduces polyphonic music to a univariate categorical sequence. In this way, we are able to apply state of the art natural language processing techniques, namely the long short-term memory sequence model. The representation we employ permits arbitrary rhythmic structure, which we assume to be given. We show that our model is effective on four out of four piano roll based benchmark datasets. We further improve our model by augmenting our training data set with transpositions of the original pieces through all musical keys, thereby convincingly advancing the state of the art on these benchmark problems. We also fit models to music which is unconstrained in its rhythmic structure, discuss the properties of this model, and provide musical samples which are more sophisticated than previously possible with this class of recurrent neural network sequence models. We also provide our newly preprocessed data set of non piano-roll music data.

연구 동기 및 목표

• 동시적인 음의 조합이 복잡한 다성음 음악을 순차적 데이터 문제로 모델링하는 데 도전한다.
• 고정 시간 피아노 롤 표현 방식의 한계를 극복하기 위해 음악 모델링에서 임의의 리듬적 구조를 가능하게 한다.
• 모든 음계에서의 옮김을 통한 데이터 증강을 통해 기호 음악 생성 기준 데이터셋에서의 성능을 향상시킨다.
• LSTM 기반의 단변량 순차 모델링이 이전의 RNN 기반 접근 방식을 뛰어넘는 음악적으로 일관되고 정교한 작품을 생성할 수 있음을 입증한다.
• 향후 연구를 위해 사용할 수 있는 새로운 전처리된 비-피아노 롤 기반 기호 음악 데이터셋을 공개한다.

제안 방법

• 모델은 다성음 음악을 각 시간 단위가 단일 범주형 음 또는 코드 이벤트를 나타내는 단변량 순차로 압축한다.
• 단일 순차적 음 순차의 의존성을 모델링하기 위해 다층 LSTM 네트워크를 사용한다.
• 입력 표현은 88개의 MIDI 음을 포함하는 어휘 내 각 음을 이산 토큰으로 인코딩하여 교차 엔트로피 손실을 사용한 엔드 투 엔드 학습을 가능하게 한다.
• 데이터 증강은 각 원본 곡을 모든 12개의 음계로 옮겨 적용하여 훈련 분포를 크게 확장하고 일반화 능력을 향상시킨다.
• 고정된 리듬적 구조를 입력으로 조건화함으로써, 복잡하고 비균일한 음 길이를 가진 음악 생성이 가능하다.
• 학습된 임bedding 레이어는 원시 입력이 수직이고 비정형임에도 불구하고 옥타브 등가성과 같은 구조적 패턴을 드러낸다.

실험 결과

연구 질문

• RQ1 LSTM 기반의 단변량 순차 모델링 접근 방식이 동시에 발생하는 음 이벤트를 포함한 다성음 음악의 복잡성을 효과적으로 포착할 수 있는가?
• RQ2 모든 음계에서의 옮김을 통한 데이터 증강이 기호 음악 생성 기준 데이터셋에서의 성능에 어떤 영향을 미치는가?
• RQ3 임의의 리듬적 구조를 조건으로 삼을 때 RNN 기반 모델이 음악적으로 일관되고 리듬적으로 복잡한 음악을 얼마나 잘 생성할 수 있는가?
• RQ4 학습된 임베딩 공간이 옥타브 등가성 또는 코드 기능과 같은 의미 있는 음악적 관계를 포착하는가?
• RQ5 모델은 피아노 롤 형식 외의 데이터로 일반화되어 이전의 순차 모델보다 더 높은 품질의 출력을 생성할 수 있는가?

주요 결과

• 모델은 피아노 롤 기반의 네 가지 기준 데이터셋에서 최첨단 성능을 달성하였으며, 옮김 기반 데이터 증강 덕분에 뚜렷한 성능 향상이 있었다.
• 모델은 기존 피아노 롤 기반 모델이 해상도 제약으로 인해 구현이 어려운, 복잡하고 비균일한 리듬적 구조를 가진 음악을 생성한다.
• 학습된 임베딩 레이어는 원시 입력이 수직이고 비정형임에도 불구하고 옥타브 등가성에 해당하는 명확한 구조적 패턴을 드러낸다.
• 모델의 성능은 다양한 음악 소스에 대해 뛰어난 안정성을 보이며, 여러 소스의 데이터를 통합하면 성능 향상이 더욱 뚜렷하다.
• 저자들은 향후 알고리즘 작곡 연구를 지원하기 위해 새로운 전처리된 비-피아노 롤 기반 기호 음악 데이터셋을 공개한다.
• 모델이 생성한 음악 샘플은 이전의 RNN 기반 모델보다 더 높은 수준의 정교함과 음악적 일관성을 보였다.