[논문 리뷰] A Hierarchical Latent Vector Model for Learning Long-Term Structure in Music

Adam P. Roberts, Jesse Engel외 3명|arXiv (Cornell University)|2018. 03. 13.

Music and Audio Processing참고 문헌 42인용 수 257

한 줄 요약

이 논문은 MusicVAE라는 계층적 잠재 변수 모델을 소개하며, 계층적 디코더를 사용해 음악 시퀀스의 장기 구조를 효과적으로 모델링하고, 평면 디코더 VAE보다 재구성, 보간, 속성 조작을 더 잘 수행하도록 한다.

ABSTRACT

The Variational Autoencoder (VAE) has proven to be an effective model for producing semantically meaningful latent representations for natural data. However, it has thus far seen limited application to sequential data, and, as we demonstrate, existing recurrent VAE models have difficulty modeling sequences with long-term structure. To address this issue, we propose the use of a hierarchical decoder, which first outputs embeddings for subsequences of the input and then uses these embeddings to generate each subsequence independently. This structure encourages the model to utilize its latent code, thereby avoiding the "posterior collapse" problem, which remains an issue for recurrent VAEs. We apply this architecture to modeling sequences of musical notes and find that it exhibits dramatically better sampling, interpolation, and reconstruction performance than a "flat" baseline model. An implementation of our "MusicVAE" is available online at http://g.co/magenta/musicvae-code.

연구 동기 및 목표

• VAEs가 긴 순차 데이터에서 왜 어려움을 겪는지와 순환 VAE에서의 포스터리어 붕괴를 동기화합니다.
• 계층적 디코더를 제안하여 잠재 사용을 촉진하고 음악의 장기-범위 구조를 포착합니다.
• 평면 디코더보다 음악 시퀀스의 재구성, 보간, 속성 조작이 개선되었는지 보여줍니다.
• 다중 스트림(다중 악기) 모델링이 음악 데이터에서의 이점을 보여줍니다.
• 방법을 검증하기 위해 대규모 MIDI 데이터셋에 대한 정량적 및 정성적 평가를 제공합니다.

제안 방법

• 전체 시퀀스를 단일 잠재 벡터 z로 매핑하기 위해 양방향 LSTM 인코더를 사용합니다.
• 계층적 디코더를 도입하여 컨덕터 RNN이 먼저 하위 시퀀스 임베딩을 출력하고 이를 각 시퀀스의 하위 디코더 RNN을 초기화하게 합니다.
• 입력 시퀀스를 U개의 비중복 구간으로 분할하고, 긴 범위의 맥락이 컨덕터 임베딩을 통해 흐르도록 디코더를 제약합니다.
• 같은 컨덕터 임베딩으로 구동되는 별도의 악기 디코더를 통해 다중 스트림(트리오) 모델링으로 확장합니다.
• 표준 VAE 목적을 포스터리어 붕괴 감소 및 더 긴 시퀀스를 위한 스케줄링 샘플링 활용으로 보강하여 학습합니다.

실험 결과

연구 질문

• RQ1 계층형 디코더가 포스터리어 붕괴를 방지하고 평면 디코더와 비교하여 긴 음악 시퀀스의 모델링을 개선할 수 있을까요?
• RQ2 계층형 MusicVAE가 평면 기반보다 재구성, 보간, 그리고 16마디 이상과 같은 길고 음악적으로 일관된 시퀀스 생성을 더 잘 수행합니까?
• RQ3 다중 스트림 모델링(멜로디, 베이스, 드럼)이 음악 시퀀스의 구조 학습에 어떤 이점을 제공합니까?
• RQ4 잠재 공간 조작(보간 및 속성 벡터)이 음악 데이터에 대해 의미 있고 음악적으로 일관적입니까?

주요 결과

• 계층형 MusicVAE는 16마디 멜로디/드럼 패턴 및 다중 스트림 데이터에서 평면 디코더에 비해 재구성 정확도를 크게 향상시킵니다.
• 계층형 모델의 잠재공간 보간은 데이터 공간 보간이나 평면 모델보다 더 매끄럽고 일관된 악곡 간 전이를 생성합니다.
• 잠재 공간 속 속성 벡터 산술은 밀도, 싱코페이션 등의 예측 가능한 음악적 변화를 만들어내며 예제 전반에 걸쳐 제어 가능한 조작이 가능합니다.
• 청취 연구에서 계층형 모델의 샘플은 멜로디, 트리오, 드럼 작업에서 평면 기반보다 더 음악적으로 평가되었습니다.
• 계층형 모델은 교사 강제 재구성과 샘플링 재건 간의 차이를 줄여 잠재 코드의 활용이 더 잘 이루어지고 노출 편향이 완화됨을 시사합니다.