[논문 리뷰] Symphony Generation with Permutation Invariant Language Model

Jiafeng Liu, Yuanliang Dong외 5명|arXiv (Cornell University)|2022. 05. 10.

Music and Audio Processing인용 수 9

한 줄 요약

이 논문은 3D 위치 임베딩과 음악 BPE 서브워드 토크나이제이션 방법을 갖춘 새로운 다중트랙 다중악기 반복 가능(MMR) 표현 방식을 사용하여 순열 치환 불변성 언어 모델인 SymphonyNet을 제안한다. 모델은 선형 트랜스포머 디코더와 함께 공동 악기 분류 기능을 활용하여 일관되고 복잡하며 조화로운 교향곡을 생성하며, 다양성 면에서 인간의 작품을 초월하고 새로운 대규모 교향곡 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we propose a permutation invariant language model, SymphonyNet, as a solution for symbolic symphony music generation. We propose a novel Multi-track Multi-instrument Repeatable (MMR) representation for symphonic music and model the music sequence using a Transformer-based auto-regressive language model with specific 3-D positional embedding. To overcome length overflow when modeling extra-long symphony tokens, we also propose a modified Byte Pair Encoding algorithm (Music BPE) for music tokens and introduce a novel linear transformer decoder architecture as a backbone. Meanwhile, we train the decoder to learn automatic orchestration as a joint task by masking instrument information from the input. We also introduce a large-scale symbolic symphony dataset for the advance of symphony generation research. Empirical results show that the proposed approach can generate coherent, novel, complex and harmonious symphony as a pioneer solution for multi-track multi-instrument symbolic music generation.

연구 동기 및 목표

• 표준 1D 시퀀스 모델링으로는 충분히 캡처할 수 없는 반순열 치환 불변성 다중트랙, 다중악기 교향곡 음악을 모델링하는 데 도전한다.
• 노트, 간격, 카드를 서브워드 수준에서 토크나이제이션하기 위해 음악 BPE를 도입하여 시퀀스 길이를 줄이고 의미적 풍부함을 향상시킨다.
• 명시적인 악기 입력 없이도 악기 예측을 함께 학습함으로써 엔드 투 엔드 자동 오케스트레이션을 가능하게 한다.
• 46,359개의 고품질 MIDI 파일을 포함한 대규모 고품질 데이터셋을 공개하여 교향곡 생성 연구를 촉진한다.
• 초장거리 교향곡 시퀀스를 처리하면서도 구조적이고 화성적 일관성을 유지하는 확장 가능한 아키텍처를 개발한다.

제안 방법

• 교향곡 점수를 트랙, 시간, 음성 차원을 가진 3D 텐서로 모델링하여 반순열 치환 불변성을 유지하는 다중트랙 다중악기 반복 가능(MMR) 표현 방식을 제안한다.
• 트랙, 시간, 음성 차원을 모두 고려한 3D 위치 임베딩을 도입하여 오케스트라 점수의 공간적 및 시간적 관계를 이해할 수 있도록 한다.
• 빈도 기반으로 노트를 간격과 카드로 그룹화하는 데 특화된 수정된 바이트 페어 인코딩 알고리즘인 음악 BPE를 설계하여 노트당 평균 토큰 길이를 2.28에서 1.13으로 감소시켰다.
• 장거리 시퀀스를 효율적으로 처리하고 표준 자기주의 어텐션의 이차 복잡도 문제를 완화하기 위해 선형 트랜스포머 디코더 아키텍처를 활용한다.
• 악기 정보를 마스킹하여 학습하는 공동 작업 학습 기반으로 모델을 훈련시켜 노트 분포에 기반한 엔드 투 엔드 자동 오케스트레이션을 가능하게 한다.
• 훈련 및 평가를 지원하기 위해 다수의 악기와 트랙을 포함한 46,359개의 고품질 MIDI 파일로 구성된 대규모 심볼릭 교향곡 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 반순열 치환 불변성 3D 위치 임베딩이 교향곡 음악 점수의 반순열 치환 불변성 구조를 효과적으로 모델링할 수 있는가?
• RQ2 음악 BPE를 통한 서브워드 수준의 토크나이제이션이 심볼릭 음악 생성에서 시퀀스 모델링 효율성과 의미적 풍부함을 향상시키는가?
• RQ3 악기 예측을 위한 공동 학습 목표가 명시적인 악기 감독 없이도 모델이 자동 오케스트레이션을 학습할 수 있는가?
• RQ4 제안된 모델이 인간의 작품과 비교해 일관성, 다양성, 조화, 구조적 복잡성 면에서 얼마나 뛰어난 음악을 생성하는가?
• RQ5 기존 모델인 MMM과 PopMAG과 비교해, 커스텀 및 공개 데이터셋 모두에서 SymphonyNet의 성능은 어떠한가?

주요 결과

• 3D 위치 임베딩과 음악 BPE를 모두 적용한 모델이 가장 낮은 훈련 및 검증 손실를 기록하여 일반화 능력과 성능 향상을 입증했다.
• 인간 평가 결과, SymphonyNet이 인간의 작품보다 다양성(5점 척도 기준 3.72 vs. 3.43)에서 뛰어나며, 일관성, 조화, 구조, 오케스트레이션 면에서도 동등하거나 이를 초월했다.
• Lakh MIDI 데이터셋에서의 직접 비교 결과, SymphonyNet은 모든 지표에서 MMM을 앞섰다: 일관성 3.33 vs. 3.20, 다양성 2.89 vs. 2.71, 종합 선호도 2.87 vs. 2.71.
• 음악 BPE는 평균 토큰 길이를 2.28에서 1.13으로 감소시켜 초장거리 교향곡 시퀀스의 모델링 부담을 크게 완화시켰다.
• 모델은 자동 오케스트레이션을 성공적으로 학습하여 맥락에 적합하고 음악적 관례에 부합하는 악기 할당을 생성했다.
• 제안된 MMR 표현 방식과 3D 위치 임베딩은 국소 음악적 구조와 트랙 간 관계를 유지시켜 1D 평탄화로 인한 손상을 방지했다.