[논문 리뷰] Compound Word Transformer: Learning to Compose Full-Song Music over Dynamic Directed Hypergraphs

Wen-Yi Hsiao, Jen-Yu Liu외 2명|arXiv (Cornell University)|2021. 01. 07.

Music and Audio Processing참고 문헌 31인용 수 19

한 줄 요약

이 논문은 복합어(예: 음고, 지속시간, 발성 시점 등 관련된 음악 토큰)를 그룹화하여 전체 가요 팝 피아노 음악을 더 효율적으로 모델링할 수 있는 새로운 트랜스포머 아키텍처인 복합어 트랜스포머를 제안한다. 유형별 피드포워드 헤드와 동적 하이퍼그래프 모델링을 사용함으로써, 최신 기술 대비 5–10배 빠른 속도로 학습되면서도 인간이 듣기에 유사한 음악 품질을 생성한다.

ABSTRACT

To apply neural sequence models such as the Transformers to music generation tasks, one has to represent a piece of music by a sequence of tokens drawn from a finite set of pre-defined vocabulary. Such a vocabulary usually involves tokens of various types. For example, to describe a musical note, one needs separate tokens to indicate the note's pitch, duration, velocity (dynamics), and placement (onset time) along the time grid. While different types of tokens may possess different properties, existing models usually treat them equally, in the same way as modeling words in natural languages. In this paper, we present a conceptually different approach that explicitly takes into account the type of the tokens, such as note types and metric types. And, we propose a new Transformer decoder architecture that uses different feed-forward heads to model tokens of different types. With an expansion-compression trick, we convert a piece of music to a sequence of compound words by grouping neighboring tokens, greatly reducing the length of the token sequences. We show that the resulting model can be viewed as a learner over dynamic directed hypergraphs. And, we employ it to learn to compose expressive Pop piano music of full-song length (involving up to 10K individual tokens per song), both conditionally and unconditionally. Our experiment shows that, compared to state-of-the-art models, the proposed model converges 5--10 times faster at training (i.e., within a day on a single GPU with 11 GB memory), and with comparable quality in the generated music.

연구 동기 및 목표

• 자연어 처리에서와 마찬가지로 모든 음악 토큰을 동일하게 취급하는 것의 한계를 해결하기 위해.
• 토큰 유형의 이질성을 명시적으로 고려함으로써 심볼릭 음악 생성에서 학습 효율성과 모델링 정확도를 향상시키기 위해.
• 압축된 복합어 표현 방식을 사용하여 최대 10,000개 토큰까지의 전체 길이의 표현적인 팝 피아노 음악을 효과적으로 생성할 수 있도록 하기 위해.
• 각 시간 단계에서 다수의 토큰 유형을 동시에 모델링하는 것이 음악 생성의 속도와 품질을 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• 이웃한 서로 다른 유형의 토큰(예: 음고, 지속시간, 발성 시점)을 복합어로 묶어 시퀀스 길이를 줄이고 공존하는 의존성(공시 발생 관계)을 포착하기 위해.
• 각 시간 단계에서 다수의 토큰 유형을 동시에 예측할 수 있도록 유형별 피드포워드 헤드를 적용한 수정된 트랜스포머 디코더를 사용하기 위해.
• 학습 및 추론 중에 복합어를 개별 토큰으로 다시 매핑하기 위해 전개-압축 기법을 적용하기 위해.
• 각 하이퍼엣지가 복합어에 해당하고 다수의 토큰 노드를 연결하는 동적 방향성 하이퍼그래프로 음악 생성 과정을 표현하기 위해.
• 전체 곡 구성에서 장거리 의존성을 모델링하기 위해 더 큰 컨텍스트 창(5,120)을 가진 선형 트랜스포머 아키텍처를 사용하기 위해.
• 조건부(리드 시트 조건부) 및 무조건적 생성 설정을 모두 사용하여 대규모 팝 피아노 데이터셋에서 모델을 학습하기 위해.

실험 결과

연구 질문

• RQ1 각 시간 단계에서 다수의 음악 토큰 유형(예: 음고, 지속시간, 다이내믹스)을 동시에 모델링하는 것이 학습 효율성과 생성 품질을 향상시킬 수 있는가?
• RQ2 복합어—즉, 토큰 시퀀스의 묶음—을 사용하면 음악 생성에서 장거리 모델링 성능 향상과 시퀀스 길이 감소에 기여하는가?
• RQ3 학습 속도, 추론 품질, 청취자 평가 기반 음악 품질 측면에서 제안된 모델은 최신 기술 대비 어떻게 비교되는가?
• RQ4 모델은 실제 작품의 구조적·화성적 복잡성과 유사한 전체 곡 표현적인 팝 피아노 음악을 생성할 수 있는가?
• RQ5 동적 하이퍼그래프 해석은 모델의 인덕티브 바이어스와 일반화 능력을 이해하는 데 유효하고 유용한가?

주요 결과

• 제안된 모델는 REMI + Transformer-XL과 같은 최신 기술 대비 5–10배 더 빠른 속도로 학습되며, 11GB 메모리의 단일 GPU에서 하루 이내에 수렴한다.
• 사용자 연구를 통해 확인된 바로는, 모델은 최대 10,000개 토큰까지의 전체 곡 팝 피아노 음악을 생성하며, REMI + XL과 유사한 청취자 평가 기반 품질을 확보한다.
• 무조건적 생성 설정에서 CP + 선형 모델은 REMI + XL보다 청취자 평가 기준 빈도감, 인간다움, 구조감에서 뛰어난 성능을 보이며, 더 강력한 구성적 일반화 능력을 보여준다.
• 정량적 평가 결과, 두 모델 모두 훈련 데이터셋 수준의 멜로디 및 코드 일치도를 확보하며, 무작위 기반 모델 대비 유의미하게 뛰어난 성능을 보였다.
• 모델의 복합어 표현 방식은 한 시간 단계 내에서 공존하는 음악적 특징(예: 음고와 지속시간)을 효과적으로 모델링할 수 있게 하여 효율성을 향상시켰다.
• 사용자 연구 결과(n=18)에 따르면, 조건부 설정에서는 REMI + XL이 略로 약간 우수한 성능을 보였지만, CP + 선형 모델은 모든 청취자 평가 지표에서 무조건적 생성 설정에서 일관된 우위를 보였다.