[논문 리뷰] Pop Music Transformer: Generating Music with Rhythm and Harmony

Yu-Siang Huang, Yi‐Hsuan Yang|arXiv (Cornell University)|2020. 02. 01.

Music and Audio Processing참고 문헌 15인용 수 27

한 줄 요약

이 논문은 흐름, 박자, 음계의 명시적 메트릭스 구조를 포함하는 새로운 데이터 표현 방식인 Pop Music Transformer를 제안한다. 이는 트랜스포머 모델이 훨씬 향상된 리듬적·화성적 일관성으로 팝 피아노 음악을 생성할 수 있도록 한다. 입력에 계층적 타이밍과 화성적 맥락을 통합함으로써, 표준 트랜스포머보다 더 체계적이고 표현력 있는 음악을 생성한다.

ABSTRACT

A great number of deep learning based models have been recently proposed for automatic music composition. Among these models, the Transformer stands out as a prominent approach for generating expressive classical piano performance with a coherent structure of up to one minute. The model is powerful in that it learns abstractions of data on its own, without much human-imposed domain knowledge or constraints. In contrast with this general approach, this paper shows that Transformers can do even better for music modeling, when we improve the way a musical score is converted into the data fed to a Transformer model. In particular, we seek to impose a metrical structure in the input data, so that Transformers can be more easily aware of the beat-bar-phrase hierarchical structure in music. The new data representation maintains the flexibility of local tempo changes, and provides hurdles to control the rhythmic and harmonic structure of music. With this approach, we build a Pop Music Transformer that composes Pop piano music with better rhythmic structure than existing Transformer models.

연구 동기 및 목표

• 입력 표현에 메트릭스 구조(박자, 바, 음계)를 통합하여 트랜스포머 기반 음악 생성을 향상시키는 것.
• 수작업으로 만든 제약 조건에 의존하지 않고도 트랜스포머가 리듬적·화성적 패턴을 더 효과적으로 학습할 수 있도록 하는 것.
• 로컬 템포 변화에 대한 유연성을 유지하면서도 생성된 팝 음악의 구조적 일관성을 향상시키는 것.
• 구조화된 입력 표현 방식이 생성된 음악의 리듬적·화성적 조직화 수준을 향상시킨다는 것을 입증하는 것.

제안 방법

• 입력 시퀀스에 박자, 바, 음계 경계를 명시적으로 표시하는 수정된 토큰화 기법을 사용한다.
• 시퀀스적 순서 외에도 계층적 메트릭스 구조를 반영한 위치 임베딩을 음악 점수에 적용한다.
• 화성 정보(코드 진행)를 추가 토큰 기능으로 통합하여 화성 일관성을 이끌어낸다.
• 표준 트랜스포머 아키텍처를 활용하지만, 입력 토큰에 메트릭스 및 화성적 맥락을 강화하여 제공한다.
• 메트릭스 인식을 유지하면서도 동적으로 박자 위치를 조정함으로써 로컬 템포 변화를 지원한다.
• 멜로디와 화성에 모두 최적화된 손실 함수를 사용하여 팝 피아노 음악 데이터셋으로 학습을 수행한다.

실험 결과

연구 질문

• RQ1 입력 표현에 명시적인 메트릭스 구조가 포함되면 트랜스포머 기반 음악 생성의 리듬적 일관성이 향상되는가?
• RQ2 화성적 맥락을 통합함으로써 생성된 팝 음악의 구조적 품질은 어떻게 영향을 받는가?
• RQ3 계층적 타이밍 표현 방식이 AI가 생성한 피아노 음악의 표현력과 일관성에 얼마나 기여하는가?
• RQ4 구조화된 입력 표현 방식은 표준 모델보다 더 나은 음계와 절단 구조를 가진 음악을 생성할 수 있는가?

주요 결과

• Pop Music Transformer는 표준 트랜스포머 모델에 비해 훨씬 향상된 리듬적 구조를 생성한다.
• 모델은 로컬 템포 변화에 대한 유연성을 유지하면서도 강력한 메트릭스 인식 능력을 유지한다.
• 입력 표현에 명시적인 코드 진행 통합 덕분에 화성 일관성이 향상된다.
• 모델은 더 체계적인 음악적 구절과 절단을 생성하여 더 나은 구조적 이해를 반영한다.
• 인간 평가자들은 생성된 음악이 더 표현력 있고 팝 피아노 음악의 스타일에 더 부합한다고 평가했다.
• 추가 아키텍처 수정 없이도 베이스라인 트랜스포머보다 구조적 일관성에서 뛰어난 성능을 보였다.