[논문 리뷰] PopMAG: Pop Music Accompaniment Generation

Yi Ren, Jinzheng He외 4명|arXiv (Cornell University)|2020. 08. 18.

Music and Audio Processing참고 문헌 34인용 수 6

한 줄 요약

PopMAG는 단일 시퀀스 내에서 다중 음악 트랙의 공동 및 조화 감지 생성을 가능하게 하는 새로운 MUlti-track MIDI(MuMIDI) 표현 방식을 제안한다. 이는 상호 트랙 간 종속성 모델링을 향상시킨다. 각 스텝당 다수의 노트 속성을 모델링하고 Transformer-XL을 통한 장기적 컨텍스트 메모리를 활용함으로써 PopMAG는 다중 트랙 팝 음악 앙상블 생성 분야에서 최신 기술 수준(SOTA) 성능을 달성했으며, LMD, FreeMidi 및 중국 팝 데이터셋에서 실제 데이터 대비 42–40%의 선호도 투표를 기록했다.

ABSTRACT

In pop music, accompaniments are usually played by multiple instruments (tracks) such as drum, bass, string and guitar, and can make a song more expressive and contagious by arranging together with its melody. Previous works usually generate multiple tracks separately and the music notes from different tracks not explicitly depend on each other, which hurts the harmony modeling. To improve harmony, in this paper, we propose a novel MUlti-track MIDI representation (MuMIDI), which enables simultaneous multi-track generation in a single sequence and explicitly models the dependency of the notes from different tracks. While this greatly improves harmony, unfortunately, it enlarges the sequence length and brings the new challenge of long-term music modeling. We further introduce two new techniques to address this challenge: 1) We model multiple note attributes (e.g., pitch, duration, velocity) of a musical note in one step instead of multiple steps, which can shorten the length of a MuMIDI sequence. 2) We introduce extra long-context as memory to capture long-term dependency in music. We call our system for pop music accompaniment generation as PopMAG. We evaluate PopMAG on multiple datasets (LMD, FreeMidi and CPMD, a private dataset of Chinese pop songs) with both subjective and objective metrics. The results demonstrate the effectiveness of PopMAG for multi-track harmony modeling and long-term context modeling. Specifically, PopMAG wins 42\%/38\%/40\% votes when comparing with ground truth musical pieces on LMD, FreeMidi and CPMD datasets respectively and largely outperforms other state-of-the-art music accompaniment generation models and multi-track MIDI representations in terms of subjective and objective metrics.

연구 동기 및 목표

• 기존 다중 트랙 음악 생성 방법에서의 명시적 상호 트랙 간 종속성 모델링 부족 문제를 해결하기 위해.
• 다양한 악기 트랙의 동시 생성을 통해 팝 음악 앙상블 생성의 조화를 향상시키기 위해.
• 다중 트랙 인코딩으로 인해 발생하는 장기적인 시퀀스 길이 문제를 완화하여 장기적 음악 모델링을 방해하지 않기 위해.
• 시퀀스 수준의 노트 속성 인코딩과 확장된 컨텍스트 메모리로 장기적 종속성 모델링을 향상시키기 위해.
• 음악 생성, 반제품 음악 또는 노래 재편곡에 적용 가능한 일반화된 프레임워크를 개발하기 위해.

제안 방법

• 다중 악기 트랙을 단일 순차 토큰 형식으로 인코딩하는 새로운 MUlti-track MIDI(MuMIDI) 표현 방식을 제안하여 공동 생성 및 상호 트랙 간 종속성의 명시적 모델링을 가능하게 한다.
• 피치, 지속시간, 다이내믹스 등 다수의 노트 속성을 단일 시퀀스 스텝 내에서 모델링함으로써, 각 속성별 토큰화 방식에 비해 시퀀스 길이를 단축시킨다.
• Transformer-XL 기반의 시퀀스-투-시퀀스 모델을 사용하여 인코더와 디코더 양쪽에서 장기적 컨텍스트 메모리를 활용해 장기적인 음악 종속성을 포착한다.
• 음악적 구조를 더 잘 인코딩하기 위해 바 수준 및 위치 수준의 임베딩을 도입하여 리듬적 및 시간적 관계의 모델링을 향상시킨다.
• 디코더에서 타겟 앙상블 트랙의 자동회귀적 생성을 유도하기 위해 멜로디 및 코드 트랙을 조건부 입력으로 사용한다.
• 상대적 위치 인코딩과 학습된 임베딩의 조합을 통해 장기적 시퀀스에서의 어텐션 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 시퀀스 표현 방식이 다중 트랙 음악 생성에서 상호 트랙 간 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 독립적 트랙 생성과 비교해 볼 때 공동 다중 트랙 생성이 조화에 얼마나 기여하는가?
• RQ3 단일 스텝 내에서 다수의 노트 속성을 모델링하는 방식이 시퀀스 길이를 얼마나 줄이고 학습 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 초장기 컨텍스트 메모리는 다중 트랙 시퀀스에서 장기적인 음악 종속성을 포착하는 데 얼마나 효과적인가?
• RQ5 제안된 바 수준 및 위치 수준의 임베딩 기법이 음악 생성 과제에서 표준 사인 함수 또는 상대적 위치 인코딩보다 우월한가?

주요 결과

• 주관적 평가에서 PopMAG는 LMD 데이터셋에서 실제 데이터 대비 42%의 선호도 투표를 기록했으며, FreeMidi에서는 38%, 사적 CPMD 중국 팝 데이터셋에서는 40%를 기록했다.
• 모든 데이터셋에서 주관적 및 객관적 지표 모두에서 비교된 모든 최신 기술 수준(SOTA) 모델들을 능가했다.
• 제거 실험에서 디코더의 메모리 제거(PopMAG - DM)가 인코더의 메모리 제거(PopMAG - EM)보다 성능 저하가 더 심했으며, 이는 디코더 메모리가 장기적 모델링에 더 중요하다는 것을 시사한다.
• 바 수준 및 위치 수준의 임베딩 조합이 모든 지표에서 사인 함수 및 상대적 위치 인코딩보다 뛰어난 성능을 보였으며, 주관적 평가에서도 가장 높은 선호도 점수를 기록했다.
• 단일 스텝 내에서 다수의 노트 속성을 모델링하는 방식이 시퀀스 길이를 크게 단축시켜 학습 효율성과 장기적 컨텍스트 모델링을 향상시켰다.
• MuMIDI, 다중 속성 토큰화, 장기적 컨텍스트 메모리가 모두 포함된 전체 PopMAG 모델이 최고의 성능을 기록하여, 제안된 모든 구성 요소 간의 상호보완적 상호작용을 확인했다.