[논문 리뷰] PIANOTREE VAE: Structured Representation Learning for Polyphonic Music

Ziyu Wang, Yiyi Zhang외 5명|arXiv (Cornell University)|2020. 08. 17.

Music and Audio Processing참고 문헌 39인용 수 21

한 줄 요약

PIANOTREE VAE는 점층적 트리 구조를 가진 변분 오토에인드러(VAE)를 제안하여 다성분 음악의 표현 학습을 위해 사용한다. 이는 점수, 동시에 연주되는 음들(simu_note), 개별 음들로 구성된 중첩된 문법을 통해 음악을 모델링한다. 이는 의미적으로 유의미한 잠재 코드, 향상된 재구성 능력, 기존 MIDI 이벤트나 표준 VAE를 사용한 기준 모델들에 비해 뛰어난 후속 음악 생성 성능을 달성한다.

ABSTRACT

The dominant approach for music representation learning involves the deep unsupervised model family variational autoencoder (VAE). However, most, if not all, viable attempts on this problem have largely been limited to monophonic music. Normally composed of richer modality and more complex musical structures, the polyphonic counterpart has yet to be addressed in the context of music representation learning. In this work, we propose the PianoTree VAE, a novel tree-structure extension upon VAE aiming to fit the polyphonic music learning. The experiments prove the validity of the PianoTree VAE via (i)-semantically meaningful latent code for polyphonic segments; (ii)-more satisfiable reconstruction aside of decent geometry learned in the latent space; (iii)-this model's benefits to the variety of the downstream music generation.

연구 동기 및 목표

• 다성분 음악은 단성분 음악보다 차원 수가 높고 더 풍부한 구조를 지니므로, 효과적인 비지도 표현 학습이 부족한 문제를 해결하기 위해.
• 동시 연주되는 음들 간의 관계와 시간적 군집화와 같은 다성분 음악의 점층적 문법을 반영한 깊이 있는 생성 모델을 설계하기 위해.
• 특히 희박성과 점층적 구조와 같은 인도크티브 바이어스를 VAE 아키텍처에 통합하여 표현 학습을 향상시키기 위해.
• 구조화된 잠재 표현이 후속 음악 생성 품질 향상과 잠재 공간 내에서 해석 가능한 보간을 가능하게 함을 입증하기 위해.

제안 방법

• 모델은 각 노드가 점수, simu_note(동시 음들), 또는 개별 음을 나타내며, 점층적 부모-자식 관계를 가진 트리 구조 아키텍처를 사용한다.
• 각 노드는 자식 요소를 조합해 부모 요소를 인코딩하거나, 반대로 부모 요소를 분해해 자식 요소를 디코딩하는 순환 신경망을 통해 임베딩된다. 이는 이중 방향 메시지 전달을 가능하게 한다.
• 모델은 점층적 사전확률과 사후확률을 적용한 변분 오토에인드러 프레임워크를 사용하여, 음악적 의미를 반영한 구조화된 잠재 공간을 학습한다.
• 다성분 음악을 희박한 이벤트 시퀀스로 모델링하여 음악 입력의 희박성을 활용함으로써, 중복을 줄이고 학습 효율성을 향상시킨다.
• 아키텍처는 점층적 인코딩과 디코딩을 모두 지원하여, 음악의 다수의 추상화 수준에서 재구성과 생성을 가능하게 한다.
• 잠재 코드는 점층적 구조에 대한 사후분포의 평균에서 유도되며, 이는 후속 생성 및 보간에 사용된다.

실험 결과

연구 질문

• RQ1 다성분 음악의 복잡한 구조와 높은 차원성에도 불구하고, 점층적 VAE 아키텍처가 의미 있고 분리된 표현을 효과적으로 학습할 수 있는가?
• RQ2 희박성과 점층적 문법과 같은 인도크티브 바이어스를 통합할 경우, 표준 VAE나 이벤트 시퀀스 모델에 비해 음악 재구성 및 생성 품질이 향상되는가?
• RQ3 학습된 잠재 표현이 잠재 공간 내에서 부드러운 보간과 의미적으로 유의미한 전이를 얼마나 잘 지원하는가?
• RQ4 PIANOTREE VAE의 구조화된 표현 방식은 후속 음악 생성 작업에서 MIDI 이벤트 기반 또는 simu_note 임베딩 기반 표현 방식과 비교해 어떻게 다른가?
• RQ5 모델은 더 장기적인 음악 생성에서도 더 높은 일관성과 창의성을 유지하며 일반화할 수 있는가?

주요 결과

• 주관적 평가를 통해 PianoTree VAE는 다성분 음악 세그먼트에 대해 의미적으로 해석 가능한 잠재 코드를 생성함을 입증하였다.
• 기준 모델들에 비해 잠재 공간 내 기하학적 일관성이 더 높고, 더 나은 재구성 품질을 달성하였다.
• 주관적 평가 결과, PianoTree VAE가 생성한 보간은 기준 모델 대비 음악성과 전이의 부드러움에서 유의미하게 높은 평가를 받았다.
• 후속 음악 생성 작업에서 잠재 벡터(z)와 simu_note 임베딩을 사용할 경우, MIDI 이벤트 토큰보다 창의성, 자연스러움, 음악성에서 유의미하게 높은 평가를 받았다(p < 0.005).
• MIDI 이벤트나 simu_note 표현 방식을 사용하는 것에 비해, 잠재 벡터 z를 사용한 장기적 생성은 더 다양한 구성과 더 높은 일관성을 보였으며, 반복 패턴이 발생하는 경향이 적었다.
• 잠재 벡터 표현을 사용할 경우, 16소절 분량의 구성물을 반복적으로 생성하면서도 구조적 일관성이 향상되었으며, 특히 이 경우에 뚜렷한 효과를 보였다.