[논문 리뷰] Learning Interpretable Representation for Controllable Polyphonic Music Generation

Ziyu Wang, Dingsu Wang외 2명|arXiv (Cornell University)|2020. 08. 17.

Music and Audio Processing참고 문헌 41인용 수 20

한 줄 요약

이 논문은 체르모와 텍스처 요소를 해석 가능한 인과로 분리하는 VAE 기반 모델을 제안하여 잠재 공간 조작을 통한 제어 가능한 음악 생성을 가능하게 한다. 규칙 기반 차드 인식과 차드 불변 컨볼루션 네트워크를 통합함으로써, 스타일 전이, 텍스처 변형, 앙상블 배열 등 다양한 응용 분야에서 고품질의 해석 가능한 음악 생성을 달성하였으며, 일부 스타일 전이 평가에서 원래 인간 작곡보다 뛰어난 성능을 보였다.

ABSTRACT

While deep generative models have become the leading methods for algorithmic composition, it remains a challenging problem to control the generation process because the latent variables of most deep-learning models lack good interpretability. Inspired by the content-style disentanglement idea, we design a novel architecture, under the VAE framework, that effectively learns two interpretable latent factors of polyphonic music: chord and texture. The current model focuses on learning 8-beat long piano composition segments. We show that such chord-texture disentanglement provides a controllable generation pathway leading to a wide spectrum of applications, including compositional style transfer, texture variation, and accompaniment arrangement. Both objective and subjective evaluations show that our method achieves a successful disentanglement and high quality controlled music generation.

연구 동기 및 목표

• 깊이 학습 기반 음악 생성 모델에서 잠재 변수가 의미 있는 방식으로 제어하기 어려운 해석 불가능성 문제를 해결하기 위해.
• 복잡한 작업 특화 아키텍처에 의존하지 않고도 화성과 텍스처와 같은 구성 요소를 정밀하게 제어할 수 있도록 하기 위해.
• 체르모(콘텐츠)와 텍스처(스타일)의 분리된 표현이 다양한 음악 생성 작업에 일반 목적 제어로 기능할 수 있는지 탐색하기 위해.
• 객관적 지표와 주관적 인간 평가를 통해 분리된 표현의 효과성을 평가하기 위해.

제안 방법

• 잠재 공간의 첫 번째 반을 체르모 정보로 임bedding하는 데 규칙 기반 체르모 인식기(Recognizer)를 사용하는 이중 브랜치 인코더를 갖춘 VAE 프레임워크를 적용한다.
• 두 번째 브랜치는 음악을 2차원 이미지로 간주하고, 차드 불변 컨볼루션 네트워크를 적용하여 텍스처 특징(리듬, 윤곽, 바이오링)을 잠재 공간의 두 번째 반에 추출한다.
• PianoTree VAE 디코더 아키텍처를 사용하여 분리된 잠재 표현에서 계층적으로 다성분 음악을 재구성한다.
• 손실 함수가 아닌 아키텍처 설계를 통해 인덕티브 바이어스를 적용함으로써, 추가 학습 목표 없이도 강력한 분리가 가능하도록 보장한다.
• 하나의 잠재 공간 연산(교환, 샘플링, 조건부 예측)을 통해 제어를 가능하게 한다.
• 분리된 잠재 코드에서 전체 8박 분량의 피아노 세그먼트를 계층적, 이중 계층적 VAE 기반 디코더를 통해 재구성한다.

실험 결과

연구 질문

• RQ1 아키텍처적 인덕티브 바이어스를 사용하여 VAE 기반 음악 생성 모델의 잠재 공간에서 체르모와 텍스처를 효과적으로 분리할 수 있는가?
• RQ2 분리된 잠재 인자들이 스타일 전이 및 텍스처 변형과 같은 다양한 작업에서 제어 가능한 음악 생성을 얼마나 잘 가능하게 하는가?
• RQ3 객관적 평가와 주관적 평가 간에 생성된 음악의 품질, 특히 스타일 전이 시나리오에서 어떻게 비교되는가?
• RQ4 특정 제어 시나리오에서 인간이 작곡한 원본보다 높은 평가를 받는 음악을 모델이 생성할 수 있는가?

주요 결과

• 객관적 지표를 통해 모델이 체르모와 텍스처 요소를 성공적으로 분리함을 입증함: 체르모 표현은 온음 이동에 매우 민감하게 반응하고, 텍스처 표현은 리듬 변화에 강하게 반응함.
• 주관적 평가에서 최고 성능을 보인 스타일 전이 작품들은 원본 작곡보다 유의미하게 높은 평가를 받음 (p < 0.005), 일부 사례에서 더 뛰어난 음악성과 창의성을 보여 줌.
• 평균적으로는 전이된 작품들이 원본보다 낮게 평가되었지만, 최고의 전이 작품들은 창의성과 음악성 측면에서 원본을 초월함.
• 잠재 코드 교환을 통한 효과적인 구성 스타일 전이를 통해, 텍스처가 화성 진행과 독립적으로 전이될 수 있음을 입증함.
• 잠재 분포에서의 샘플링을 통한 텍스처 변형은 '주제와 변주' 양식을 성공적으로 모방함. 화성 구조는 유지하면서 리듬적·메로딕 윤곽이 변화함.
• 조건부 예측을 통한 앙상블 배열은 가능성 있는 방향성을 보이며, 모델이 메로디를 기반으로 앙상블을 생성할 수 있도록 후속 인코더-디코더 아키텍처로 확장 가능할 것으로 보임.