[논문 리뷰] A Predictive Model for Music Based on Learned Interval Representations

Stefan Lattner, Maarten Grachten외 1명|arXiv (Cornell University)|2018. 06. 22.

Music and Audio Processing참고 문헌 11인용 수 17

한 줄 요약

이 논문은 절대 옥도가 아닌 상대 옥도 간격을 학습하는 순환 게이트형 오토인코더(RGAE)를 제안한다. 이는 일반화 능력을 향상시키고 음악적 반복과 옮김을 명시적으로 모델링할 수 있게 해주며, 간격 공간에서의 복사-이동 연산을 학습함으로써 이질적인 음악적 반복을 예측할 때 평균 정밀도 99.43%를 달성한다. 이는 표준 RNN보다 뚜렷이 뛰어난 성능이다.

ABSTRACT

Connectionist sequence models (e.g., RNNs) applied to musical sequences suffer from two known problems: First, they have strictly "absolute pitch perception". Therefore, they fail to generalize over musical concepts which are commonly perceived in terms of relative distances between pitches (e.g., melodies, scale types, modes, cadences, or chord types). Second, they fall short of capturing the concepts of repetition and musical form. In this paper we introduce the recurrent gated autoencoder (RGAE), a recurrent neural network which learns and operates on interval representations of musical sequences. The relative pitch modeling increases generalization and reduces sparsity in the input data. Furthermore, it can learn sequences of copy-and-shift operations (i.e. chromatically transposed copies of musical fragments)---a promising capability for learning musical repetition structure. We show that the RGAE improves the state of the art for general connectionist sequence models in learning to predict monophonic melodies, and that ensembles of relative and absolute music processing models improve the results appreciably. Furthermore, we show that the relative pitch processing of the RGAE naturally facilitates the learning and the generation of sequences of copy-and-shift operations, wherefore the RGAE greatly outperforms a common absolute pitch recurrent neural network on this task.

연구 동기 및 목표

• 음악 이론의 핵심 요소이지만 절대 옥도 표현에서는 잘 포착되지 않는 상대 옥도 관계를 모델링하는 데 있어 표준 RNN의 한계를 해결한다.
• 절대 옥도 대신 간격 표현을 학습하여 음악 시퀀스 모델링에서의 데이터 희소성과 일반화 능력 부족 문제를 해결한다.
• 음악적 양식에 매우 중요하지만 일반적으로 표준 RNN에서 간과되는 음악적 반복과 이질적 반복(복사-이동 연산)을 명시적으로 모델링할 수 있도록 한다.
• RGAE를 통한 상대 옥도 처리가 절대 옥도 모델과 보완되며 앙상블 방법을 통해 전체 예측 정확도를 향상시킨다는 것을 입증한다.
• 특정 음악적 텍스처에 의존하지 않고도 복잡한 구조 체계(이질적 반복의 추상적 시퀀스)를 학습하고 생성할 수 있도록 한다.

제안 방법

• 입력 옥도 간의 간격 표현을 학습하기 위해 게이트형 오토인코더(GAE)를 사용하여 절대 옥도 시퀀스를 잠재 공간 내 상대 간격 표현으로 변환한다.
• 학습된 간격 표현에 대해 순환 신경망(RNN)을 적용하여 음악 내 시간적 의존성과 장거리 구조를 모델링한다.
• 단일 음성 멜로디에서 다음 음을 예측하기 위해 분류 교차 엔트로피 손실을 사용하여 종합적으로 훈련하는 생성 시퀀스 모델로 RGAE를 학습한다.
• 절대 옥도 대신 간격을 다룸으로써 이질성에 대한 불변성을 확보하고 데이터 희소성과 모델 복잡도를 줄인다.
• 시간 지연 동안 일정한 간격을 반복 적용하는 방식으로 복사-이동 연산을 표현함으로써 이러한 연산의 시퀀스를 학습할 수 있도록 한다.
• RGAE 예측과 절대 옥도 RNN 예측을 앙상블 평균화하여 전체 예측 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 절대 옥도가 아닌 간격 표현을 학습하는 시퀀스 모델이 단일 음성 멜로디 예측 작업에서 표준 RNN보다 더 잘 일반화할 수 있는가?
• RQ2 간격 기반 모델링이 음악에서 이질적 반복(복사-이동 연산)의 학습과 생성에 얼마나 기여하는가?
• RQ3 RGAE를 통한 상대 옥도 처리 방식이 절대 옥도 모델링 방식과 예측 안정성과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ4 RGAE는 특정 음악적 텍스처에 의존하지 않고도 추상적인 음악적 구조 체계를 독립적으로 학습하고 표현할 수 있는가?
• RQ5 상대 옥도(RGAE)와 절대 옥도(RNN) 모델을 조합하면 음악 시퀀스 예측에서 개별적으로 사용할 때보다 더 높은 성능을 내는가?

주요 결과

• RGAE는 이질적인 음악적 반복을 예측할 때 평균 정밀도 99.43%를 달성했으며, 전체 시퀀스의 92%가 99% 이상의 정밀도로 올바르게 계속되었다.
• RGAE의 교차 엔트로피 손실은 0.16이었으며, 이는 표준 RNN의 손실 10.10보다 두 개의 지수 차수 낮아 예측 신뢰도와 피팅 정도가 뚜렷이 향상되었음을 시사한다.
• 복사-이동 작업에서 RGAE는 표준 RNN의 평균 정밀도 41.38%에 비해 크게 뛰어나 간격 기반 학습의 우수성을 입증했다.
• RGAE의 은닉 유닛 활성화는 더 규칙적이고 내용 불변적이었으며, 특정 음악적 텍스처가 아닌 추상적 구조 체계에 초점을 맞추고 있음을 반영했다.
• RGAE는 훈련 중에 볼 수 없었던 새로운 멜로디에 대해서도 구조 체계(예: {-4,+8,-4,+8,...})를 학습하고 일반화할 수 있음을 보였다.
• RGAE와 절대 옥도 RNN을 앙상블하여 예측 정확도를 추가로 향상시켰으며, 상대 옥도 모델링과 절대 옥도 모델링이 상호 보완적임을 입증했다.