[논문 리뷰] What is missing in deep music generation? A study of repetition and structure in popular music

Shuqi Dai, Huiran Yu외 1명|arXiv (Cornell University)|2022. 09. 01.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 중국 및 미국 음악 데이터셋을 기반으로 한 데이터 기반 분석을 통해 대중음악의 구조적 반복을 조사하며, 실제 노래가 계층적 반복과 제한된 내부 어휘를 통해 통일성을 만들어내는 방식을 밝혀낸다. 이는 딥 뮤직 생성 모델이 이러한 구조적 특성을 재현하지 못함을 보여주며, 인간이 작곡한 음악보다 엔트로피가 높고 반복성이 낮아 현재의 생성 시스템에 심각한 격차가 있음을 드러낸다.

ABSTRACT

Structure is one of the most essential aspects of music, and music structure is commonly indicated through repetition. However, the nature of repetition and structure in music is still not well understood, especially in the context of music generation, and much remains to be explored with Music Information Retrieval (MIR) techniques. Analyses of two popular music datasets (Chinese and American) illustrate important music construction principles: (1) structure exists at multiple hierarchical levels, (2) songs use repetition and limited vocabulary so that individual songs do not follow general statistics of song collections, (3) structure interacts with rhythm, melody, harmony, and predictability, and (4) over the course of a song, repetition is not random, but follows a general trend as revealed by cross-entropy. These and other findings offer challenges as well as opportunities for deep-learning music generation and suggest new formal music criteria and evaluation methods. Music from recent music generation systems is analyzed and compared to human-composed music in our datasets, often revealing striking differences from a structural perspective.

연구 동기 및 목표

• 데이터 기반 분석을 통해 대중음악에서 반복과 계층적 구조의 역할을 이해하기 위해.
• 딥 러닝 음악 생성 모델의 출력과 인간이 작곡한 음악 간의 구조적 차이를 규명하기 위해.
• 반복, 어휘, 엔트로피 기반으로 음악 생성을 평가하기 위한 형식적이고 정량적인 기준을 제시하기 위해.
• 딥 러닝 모델이 데이터에서 자연스럽게 장기적 구조와 반복을 학습한다고 가정하는 것을 도전하기 위해.
• 음악 정보 검색(MIR) 원칙에 기반한 새로운 평가 방법을 제안하여 생성 음악의 구조적 충실도를 평가하기 위해.

제안 방법

• 변수 순서 마르코프 모델을 사용하여 중국 및 미국의 대중음악 데이터셋에서 리듬과 음고 패턴을 분석하여 반복성과 예측 가능성을 정량화하기 위해.
• 노트 시퀀스의 교차 엔트로피를 시간에 따라 측정하여 예측 가능성 추세를 평가하고, 실제 음악(POP909)과 생성 음악(Music Transformer) 간 비교를 수행하기 위해.
• 4마디 및 8마디 구간의 고유한 음고 패턴 수를 세어 어휘 크기를 정량화하고, 실제 음악, 무작위 샘플, VAE로 생성된 구간 간 비교를 수행하기 위해.
• 엔트로피와 교차 엔트로피 메트릭을 사용하여 음악 시퀀스의 구조적 일관성과 예측 가능성을 평가하기 위해.
• 계층적 분석을 적용하여 다양한 수준(구절, 섹션, 전체 곡)에서 반복을 탐지하고, 비랜덤한 반복 패턴을 드러내기 위해.
• 최신 기술의 생성 모델에서 유래한 음악의 구조적 특징을 실제 곡과 비교하여 반복성, 어휘, 예측 가능성 추세에 중점을 두고 분석하기 위해.

실험 결과

연구 질문

• RQ1 대중음악에서 반복은 어떤 방식으로 다중 계층적 수준에서 구성되어 있는가?
• RQ2 전체 데이터셋의 일반 통계 분포와 비교할 때, 실제 곡들은 얼마나 제한된 내부 어휘와 반복성을 사용하여 통일성을 이루는가?
• RQ3 Music Transformer와 VAE와 같은 딥 뮤직 생성 모델은 반복성, 어휘, 예측 가능성 측면에서 인간이 작곡한 음악과 얼마나 비교되는가?
• RQ4 교차 엔트로피는 곡 전반에 걸쳐 구조적 추세와 예측 가능성을 드러내는 데 어떤 역할을 하는가?
• RQ5 엔트로피와 어휘 크기와 같은 구조적 메트릭은 음악 생성 시스템 평가를 위한 공식적인 평가 기준이 될 수 있는가?

주요 결과

• 실제 대중음악은 강력한 계층적 반복을 보이며, 반복이 무작위가 아니라 시간에 따라 비균일한 추세를 따르며, 특히 구조 전환 지점에서 일시적인 교차 엔트로피 상승이 관찰된다.
• 전체 데이터셋에서 예상되는 것보다 실제 곡들이 음고와 리듬 패턴의 내부 어휘를 훨씬 더 작게 사용함으로써 통일성과 개성 있는 특징을 만들어낸다.
• Music Transformer로 생성된 음악은 곡의 마지막 30%에서 평균 교차 엔트로피가 1비트/노트 이하로 낮아, 실제 음악보다 과도하게 예측 가능성이 높은 시퀀스를 보이며, 이는 비자연스러운 예측 가능성의 징후이다.
• VAE로 생성된 구간은 실제 PDSA 구간보다 유의미하게 더 많은 고유한 음고 패턴을 보이며(p < 10^-5), 이는 인간이 작곡한 음악에 비해 재현성과 통일성이 떨어짐을 시사한다.
• 내부 패턴을 사용할 경우 외부 학습 데이터를 사용하는 것보다 곡 내 구절이 더 예측 가능성이 높으며, 이는 실제 곡에서 강력한 불변성과 내부 구조 일관성이 있음을 나타낸다.
• 실제 POP909 곡에서의 교차 엔트로피 추세는 곡의 약 20% 지점과 끝부분 근처에서 일시적으로 상승하며, 이는 대조적 또는 새로운 섹션으로 인한 것으로 보이며, 인간 작곡의 구조 인식을 반영한다.