[논문 리뷰] Transformer-XL Based Music Generation with Multiple Sequences of Time-valued Notes

Xianchao Wu, Chengyuan Wang외 1명|arXiv (Cornell University)|2020. 07. 11.

Music and Audio Processing참고 문헌 13인용 수 10

한 줄 요약

이 논문은 절대적 시간을 사용하는 대신 상대적 시간 값을 갖는 네 가지 시간 기반 노트 시퀀스—on-to-on 지속시간, on-to-off 지속시간, 음고, 펄스 강도—를 사용하여 보다 자연스럽게 음악을 모델링하는 Transformer-XL 기반 음악 생성 프레임워크를 제안한다. 이러한 시퀀스들에 대해 네 개의 별도의 Transformer-XL 네트워크를 공동으로 훈련시킴으로써, 모델은 안정적인 1시간 분량의 음악을 생성하며, 더 나은 리듬 일관성, 다이내믹 제어 및 화성 구조를 확보한다. 이는 자동 평가 및 수동 평가 모두에서 Music Transformer, DeepJ 및 단일 시퀀스 기반 Transformer-XL보다 뛰어난 성능을 보였다.

ABSTRACT

Current state-of-the-art AI based classical music creation algorithms such as Music Transformer are trained by employing single sequence of notes with time-shifts. The major drawback of absolute time interval expression is the difficulty of similarity computing of notes that share the same note value yet different tempos, in one or among MIDI files. In addition, the usage of single sequence restricts the model to separately and effectively learn music information such as harmony and rhythm. In this paper, we propose a framework with two novel methods to respectively track these two shortages, one is the construction of time-valued note sequences that liberate note values from tempos and the other is the separated usage of four sequences, namely, former note on to current note on, note on to note off, pitch, and velocity, for jointly training of four Transformer-XL networks. Through training on a 23-hour piano MIDI dataset, our framework generates significantly better and hour-level longer music than three state-of-the-art baselines, namely Music Transformer, DeepJ, and single sequence-based Transformer-XL, evaluated automatically and manually.

연구 동기 및 목표

• 절대적 시간 사용의 한계를 해결하기 위해, 이는 템포에 영향을 받지 않는 유사도 계산 및 상대적 노트 지속시간의 적절한 모델링을 방해하기 때문이다.
• 단일 시퀀스 모델링의 제약을 극복하기 위해, 시간적 정보, 음고, 펄스 강도를 네 개의 별도의 시퀀스로 분리하여 공동 학습을 가능하게 하기 위해 제안한다.
• 일관된 노트 밀도, 적절한 리듬 패턴 및 표현적인 다이내믹스를 갖춘 안정적인 장시간 음악 생성(최대 36시간)을 가능하게 하기 위해 제안한다.
• 연주자 녹음본(절대적 시간)이 아닌 작곡가의 악보(상대적 시간)를 기반으로 음악을 모델링하여 음악 품질을 향상시키기 위해 제안한다.

제안 방법

• 네 개의 시간 기반 노트 표현 방식인 (on2on, on2off, pitch, velocity)을 제안하며, 여기서 on2on과 on2off는 템포에 영향을 받지 않는 상대적 지속시간을 인코딩한다.
• 음악 시퀀스를 on2on, on2off, pitch, velocity의 네 개의 별도 시퀀스로 분해하고, 각각을 개별적인 Transformer-XL 네트워크로 처리한다.
• 네 개의 시퀀스 간에 공유되는 토큰 임베딩을 사용하고, 공동 훈련 중에 교차 엔트로피 손실를 조합하여 다중 스트림 표현 학습을 가능하게 한다.
• Transformer-XL의 상대적 위치 인코딩 및 세그먼트 수준의 반복 기법을 적용하여 장거리 의존성을 장기간 음악 시퀀스에 걸쳐 모델링한다.
• 표준 MIDI 처리 도구(예: pretty_midi)를 사용해 기능 추출을 수행한 23시간 분량의 피아노 MIDI 데이터셋으로 프레임워크를 훈련시킨다.
• 장기 음악 생성의 안정성과 일관성을 평가하기 위해 고정된 초기 시퀀스를 사용하는 프라밍 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 절대적 시간 대신 상대적 시간 기반 노트 시퀀스(on2on, on2off)를 사용하여 음악을 모델링할 경우, 모델이 음악적으로 타당하고 템포에 영향을 받지 않는 음악을 생성하는 데에 더 나은 능력을 갖출 수 있는가?
• RQ2 시간적 정보, 음고, 펄스 강도를 네 개의 별도의 시퀀스로 분리함으로써, 모델이 카드 프로그레션과 다이내믹 컨투어와 같은 복잡한 음악적 구조를 학습하고 생성하는 능력이 향상되는가?
• RQ3 다중 시퀀스, 다중 Transformer-XL 프레임워크는 장시간(1시간 이상)에 걸쳐서도 노트 밀도나 리듬 일관성의 심각한 열화 없이 안정적이고 고품질의 음악을 생성할 수 있는가?
• RQ4 제안된 프레임워크는 Music Transformer, DeepJ 및 단일 시퀀스 기반 Transformer-XL과 비교해 목적적 평가 지표와 인간 평가 측면에서 어떻게 성능을 냈는가?

주요 결과

• 모델은 안정적인 노트 밀도를 유지하며 연속된 36시간 분량의 음악 샘플을 성공적으로 생성하여, 이전에 없었던 장시간 음악 생성 능력을 입증했다.
• 노트 밀도는 장기간의 시퀀스 동안 일관되게 유지되었으며, Music Transformer 및 단일 시퀀스 기반 Transformer-XL는 NOTE_ON/OFF 매칭 오류로 인해 밀도가 크게 감소하는 경향을 보였다.
• 생성된 음악의 음고 분포가 원본 데이터셋과 가장 유사했으며, 이는 음계와 옥타브 패턴을 강력하게 학습했다는 것을 시사한다.
• 모델은 톤-도메인트(예: 도 메이저에서 라 메이저로의 전환)와 같은 일반적인 카드 프로그레션을 학습했으며, 화성 구조 학습의 증거를 보였다.
• 펄스 강도 패턴은 매끄럽고 표현적이었으며, 점진적인 변화와 섹션 간 감정 대비를 보였고, 실제 음악의 구절화 방식과 유사했다.
• 인간 평가 결과, 특히 장시간 음악 생성에서 모델의 출력이 기준 모델보다 더 안정적이고 음악적으로 타당했으며, 부자연스럽거나 이질적인 음의 패턴이 훨씬 적었다.