[논문 리뷰] Coupled Recurrent Models for Polyphonic Music Composition

John Thickstun, Zaïd Harchaoui외 2명|arXiv (Cornell University)|2018. 11. 20.

Music and Audio Processing참고 문헌 34인용 수 6

한 줄 요약

이 논문은 다성분 음악을 상호의존적인 음성 시계열로 모델링하는 결합된 순환 신경망을 제안한다. 음성별 및 전반적 은닉 상태를 활용하여 음고 불변성과 시간적 구조를 포착한다. 이 방법은 바흐의 성악 교향곡 데이터셋에서 최신 기술 수준의 교차 엔트로피 점수를 달성하며, 최소 손실 12.87을 기록하여 생성된 음악의 국소적 음악적 구조와 청각적 타당성을 잘 모델링하고 있음을 보여준다.

ABSTRACT

This paper introduces a novel recurrent model for music composition that is tailored to the structure of polyphonic music. We propose an efficient new conditional probabilistic factorization of musical scores, viewing a score as a collection of concurrent, coupled sequences: i.e. voices. To model the conditional distributions, we borrow ideas from both convolutional and recurrent neural models; we argue that these ideas are natural for capturing music's pitch invariances, temporal structure, and polyphony. We train models for single-voice and multi-voice composition on 2,300 scores from the KernScores dataset.

연구 동기 및 목표

• 다성분 음악의 구조적 복잡성, 특히 동시 진행되는 음성 간의 상호작용을 포착하는 생성 모델을 개발하는 것.
• 결합된 순환 아키텍처를 사용하여 음성 수준의 의존성을 명시적으로 모델링함으로써 기존의 자동회귀 모델을 향상시키는 것.
• 정량적 교차 엔트로피와 정성적 인간 인지 평가 연구를 통해 모델 품질을 평가하는 것.
• 음성 분해 및 계층적 모델링과 같은 구조적 가정이 생성 성능에 미치는 영향을 탐색하는 것.

제안 방법

• 모델은 음악 점수를 동시 음성 시계열로 분해하며, 각 음성은 음고 발생 및 유지 이벤트를 시간에 따라 변화하는 이진 행렬로 표현한다.
• 각 음성이 자체 은닉 상태를 유지하는 동시에 매 시간 단계에서 음성 간 정보를 집계하는 전반적 은닉 상태를 갖는 계층적 순환 아키텍처를 사용한다.
• 각 음성을 자신의 역사와 전반적 맥락에 조건부로 취급하는 조건부 확률 인수분해를 사용하여 다성분 음악의 공동 모델링을 가능하게 한다.
• 훈련 효율성 향상과 구조적 불변성 강제를 위해 음성별 구성 요소 간 가중치 공유를 적용한다.
• 모델은 KernScores 데이터셋의 2,300개 점수에서 최대우도 추정을 사용해 훈련되며, 교차 엔트로피가 주요 평가 지표로 사용된다.
• 생성은 초기 샘플링을 통해 수행되며, 샘플된 시계열에서 오디오 클립을 합성하여 정성적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 음악을 결합된 음성 시계열로 모델링하는 방식이 래스터화 또는 분리된 접근 방식에 비해 생성 성능을 어떻게 향상시키는가?
• RQ2 음성별 및 전반적 은닉 상태를 통합함으로써 모델 정확도와 샘플 품질에 어떤 영향을 미치는가?
• RQ3 공유된 계층적 순환 아키텍처가 계산 효율성을 유지하면서도 다성분 음악을 효과적으로 모델링할 수 있는가?
• RQ4 다른 역사 길이(음성 대 전반적)가 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 생성된 샘플이 인간이 작곡한 음악과 비교해 청각적으로 타당한 정도는 어느 정도인가?

주요 결과

• 계층적 결합된 순환 모델은 비피아노 테스트 세트에서 교차 엔트로피 손실 12.87을 기록하여 모든 기준 설정보다 낮은 손실을 달성했다.
• 10단계 음성 및 전반적 역사(실험 6)를 가진 모델은 손실 12.87을 기록하여 국소적 음악적 구조를 잘 모델링하고 있음을 보여주었다.
• 분리된 음성 모델(실험 8)은 손실 18.63으로 유의미하게 열악하게 성능을 보였으며, 음성 간 상호작용 모델링의 중요성을 입증했다.
• 인간 평가 결과, 50프레임 클립에 대해 참가자들이 평균 6.8개의 클립(10개 중)만 인공적이라고 정확히 식별했으며, 이는 생성된 음악의 청각적 타당성을 시사한다.
• 결과적으로 낮은 교차 엔트로피가 청각적 품질과 관련이 있음을 확인하여, 음악 작곡에서 생성 모델 성능의 대체 지표로 사용할 수 있음을 뒷받침한다.
• 절단 실험을 통해 매 시간 단계에서 음성 정보를 통합함으로써 성능 향상이 이루어지며, 이는 분리되거나 독립적으로 모델링하는 것보다 결합된 아키텍처의 타당성을 검증한다.