[논문 리뷰] Learning Style-Aware Symbolic Music Representations by Adversarial Autoencoders

Andrea Valenti, Antonio Carta외 1명|arXiv (Cornell University)|2020. 01. 15.

Music and Audio Processing참고 문헌 21인용 수 8

한 줄 요약

이 논문은 장르 조건부 가우시안 믹스처 사전 분포를 사용하여 분리된, 스타일 인식 기반의 기호 음악 표현을 학습하는 음악 전용 적대적 autoencoder인 MusAE를 제안한다. 기존 최고 수준의 VAE보다 더 높은 재구성 정확도를 달성하면서도, 음악적 시퀀스 간에 부드럽고 의미 있는 보간을 가능하게 하며, 저수준 특징과 고수준 장르 정보에 따라 잠재 공간을 정리한다.

ABSTRACT

We address the challenging open problem of learning an effective latent space for symbolic music data in generative music modeling. We focus on leveraging adversarial regularization as a flexible and natural mean to imbue variational autoencoders with context information concerning music genre and style. Through the paper, we show how Gaussian mixtures taking into account music metadata information can be used as an effective prior for the autoencoder latent space, introducing the first Music Adversarial Autoencoder (MusAE). The empirical analysis on a large scale benchmark shows that our model has a higher reconstruction accuracy than state-of-the-art models based on standard variational autoencoders. It is also able to create realistic interpolations between two musical sequences, smoothly changing the dynamics of the different tracks. Experiments show that the model can organise its latent space accordingly to low-level properties of the musical pieces, as well as to embed into the latent variables the high-level genre information injected from the prior distribution to increase its overall performance. This allows us to perform changes to the generated pieces in a principled way.

연구 동기 및 목표

• 기호 음악 데이터에 대한 효과적이고 분리된 잠재 공간을 생성 모델링에서 학습하는 데 도전하는 것.
• KL 발산을 적대적 정규화로 대체하여 사전 분포 선택의 유연성을 높임으로써 표준 변분 autoencoder를 향상시키는 것.
• 메타데이터 기반 사전 분포를 사용하여 고수준 음악 장르 및 스타일 정보를 잠재 공간에 체계적으로 통합하는 것.
• 특정 잠재 요소를 수정하여 원하는 음악적 성질에 영향을 주는 방식으로 직관적이고 제어 가능한 음악 편집을 가능하게 하는 것.

제안 방법

• 모델은 음악 스코어를 잠재 벡터로 매핑하는 인코더와 스코어를 재구성하는 디코더를 갖는 순환 적대적 autoencoder(AAE) 아키텍처를 사용한다.
• 표준 가우시안 사전 분포 대신, 음악 메타데이터(예: 장르)에 조건부로 설정된 가우시안 믹스처 사전 분포를 사용하여 잠재 공간 분포를 이끌어낸다.
• 잠재 코드 분포가 학습된 장르 조건부 사전 분포와 일치하도록 적대적 훈련을 적용함으로써 분리도와 현실감을 향상시킨다.
• 재구성 손실과 적대적 손실을 사용하여 엔드 투 엔드로 훈련함으로써 고해상도 생성과 보간을 가능하게 한다.
• PCA 및 t-SNE 투영을 통한 잠재 공간의 분리도 평가에서, 록과 펑크와 같은 장르 간에 의미 있는 분리가 나타남을 확인했다.
• 특정 잠재 요소(예: 노트 밀도 또는 장르 스타일)를 수정함으로써 제어 가능한 생성이 가능하며, 음악적 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 장르 기반 사전 분포를 갖는 적대적 정규화는 변분 autoencoder에서 기호 음악 표현의 품질과 분리도를 향상시키는가?
• RQ2 음악 autoencoder의 잠재 공간이 저수준 음악적 특징과 고수준 장르 정보를 얼마나 효과적으로 인코딩하는가?
• RQ3 잠재 공간에서 음악적 시퀀스 간에 매끄럽고 청각적으로 의미 있는 보간을 달성할 수 있는가?
• RQ4 잠재 공간이 얼마나 직관적이고 성질 기반의 편집을 가능하게 하도록 구조화될 수 있는가?
• RQ5 표준 VAE보다 재구성 정확도는 높이면서도 샘플 품질을 유지할 수 있는가?

주요 결과

• MusAE는 최고 수준의 VAE 기반 모델보다 대규모 벤치마크에서 더 높은 재구성 정확도를 달성하여 모델링 능력 향상을 입증한다.
• 음악적 시퀀스 간의 잠재 공간 보간이 매끄럽고 청각적으로 일관되므로, 구멍이 없는 잘 정리된 잠재 공간임을 나타낸다.
• PCA 및 t-SNE 시각화 결과, 잠재 공간이 저수준 음악적 성질과 고수준 장르 차이(예: 펑크와 록 간의 명확한 분리)에 따라 조직되어 있음을 보여준다.
• 사전 분포를 통해 장르 정보를 잠재 변수에 성공적으로 통합함으로써 체계적인 스타일 전이 및 편집이 가능해졌다.
• 장르 조건부 가우시안 믹스처 사전 분포를 사용함으로써, 고정된 사전 분포를 갖는 표준 VAE보다 모델 성능이 크게 향상되었다.
• 노트 밀도 조정이나 장르 스타일 이동과 같이 특정 잠재 요소를 수정함으로써 제어 가능한 생성이 가능하며, 음악적 일관성이 유지된다.