[논문 리뷰] BachProp: Learning to Compose Music in Multiple Styles

Florian Colombo, Wulfram Gerstner|arXiv (Cornell University)|2018. 02. 14.

Music and Audio Processing참고 문헌 9인용 수 7

한 줄 요약

BachProp는 새로운 정규화된 표현 방식을 사용해 다양한 MIDI 데이터셋에서 학습함으로써 어떤 음악 스타일이든 원천적인 음악을 생성하는 딥러닝 모델이다. 커뮤니티 평가에서 인간의 기대를 초월하여, 바흐의 성악 교향곡과 스트링 쿼арт렛을 포함한 여러 스타일에서 생성된 음악이 원본 작품만큼 선호됨이 입증되었다.

ABSTRACT

Hand in hand with deep learning advancements, algorithms of music composition increase in performance. However, most of the successful models are designed for specific musical structures. Here, we present BachProp, an algorithmic composer that can generate music scores in any style given sufficient training data. To adapt BachProp to a broad range of musical styles, we propose a novel normalized representation of music and train a deep network to predict the note transition probabilities of a given music corpus. In this paper, new music scores sampled by BachProp are compared with the original corpora via crowdsourcing. This evaluation indicates that the music scores generated by BachProp are not less preferred than the original music corpus the algorithm was provided with.

연구 동기 및 목표

• 구조적 가정 없이 어떤 음악 스타일이든 작곡할 수 있는 일반 목적의 음악 생성 모델을 개발하는 것.
• 음악 스타일 간 일관성 없는 MIDI 표현 방식이 리듬을 왜곡하고 다양한 데이터셋에서의 학습을 어렵게 하는 문제를 해결하는 것.
• 원시 MIDI 시퀀스, 특히 다성분 및 멀티트랙 파일에서 음악적 구조를 엔드 투 엔드로 학습할 수 있도록 하는 것.
• 커뮤니티 평가와 현장 연주를 통해 생성된 음악의 주관적 품질을 원본 데이터셋과 비교 평가하는 것.
• 신경망 기반 음악 생성이 원본 작품만큼 높은 선호도를 얻을 수 있음을 입증하는 것.

제안 방법

• 음고, 지속시간, 타이밍을 분리하여 저차원적이고 일관된 노트 시퀀스로 표현하는 정규화된 MIDI 표현 방식을 제안한다.
• 정규화된 시퀀스 표현에서의 노트 전이 확률을 예측하기 위해 깊은 LSTM 네트워크를 사용한다.
• 단성, 다성, 실황 녹음된 연주를 포함한 다양한 MIDI 코퍼스에서 모델을 엔드 투 엔드로 훈련시킨다.
• 학습된 전이 확률에서 샘플링하여 장기간에 걸쳐 일관성을 유지하는 시퀀스 생성 절차를 적용한다.
• 커뮤니티 평가 도전에서 생성된 음악과 원본 음악 간 선호도 평가를 위해 TrueSkill 기반 평가 체계를 활용한다.
• 현장 연주를 통해 상위 평가를 받은 곡들을 스트링 쿼르텟이 연주함으로써 실제 환경에서의 미학적 인식을 검증한다.

실험 결과

연구 질문

• RQ1 일관된 구조적 편향 없이 하나의 신경망 모델이 다양한 음악 장르에서 일관성 있고 스타일에 정확한 음악을 생성할 수 있는가?
• RQ2 정규화된 MIDI 표현 방식이 실황 녹음 포함한 이질적인 MIDI 데이터에 효과적으로 학습 가능하게 하는가?
• RQ3 딥러닝 모델이 생성한 음악이 인간 선호도 평가에서 원본 작품만큼 높이 평가될 수 있는가?
• RQ4 다양한 리듬 복잡도와 구조적 이질성을 가진 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 모델이 스타일 일관성을 유지하면서 새로운 키와 분위기로 일반화될 수 있는 정도는 어느 정도인가?

주요 결과

• BachProp은 모차르트와 하이든의 스트링 쿼르텟을 포함한 이질적인 코퍼스에서 학습된 후에도 어떤 키와 분위기에서도 일관성 있고 스타일에 정확한 음악을 성공적으로 생성한다.
• 커뮤니티 평가에서 BachProp이 생성한 음악은 원본 음악만큼 높은 선호도를 얻었으며, AI 음악 챌린지의 상위 10개 중 9개가 BachProp의 출력이었다.
• 원본 음악 코퍼스와 BachProp이 생성한 곡들은 구분할 수 없을 정도로 유사한 TrueSkill 점수를 기록하여 유의미한 선호도 차이가 없음을 시사한다.
• 스트링 쿼르텟의 연주 후 실황 관객 투표 결과, 노팅엄 민속 음악과 스트링 쿼르텟을 기반으로 학습한 BachProp이 생성한 곡들이 강력한 선호도를 보였다.
• 정규화된 MIDI 표현 방식 덕분에 이전에는 다루기 어려웠던 데이터셋, 예를 들어 존 샌키의 바흐 실황 녹음본을 왜곡 없이 학습할 수 있었다.
• 모델는 장기적 일관성을 유지하여 구조적 통합성이 손상되지 않도록 무제한 길이의 곡을 생성할 수 있다.