[논문 리뷰] Inspecting and Interacting with Meaningful Music Representations using VAE

Ruihan Yang, Tianyao Chen외 2명|arXiv (Cornell University)|2019. 04. 18.

Music and Audio Processing참고 문헌 12인용 수 7

한 줄 요약

이 논문은 MusicVAE의 잠재 표현을 해석하고 제어하기 위해 '증강을 통한 분리'라는 방법을 제안한다. 이는 그래픽 사용자 인터페이스를 통해 음고 선과 리듬을 독립적으로 조작할 수 있도록 한다. 주요 기여는 음고와 리듬이 잠재 공간에서 분리되어 있음을 입증함으로써, 타깃 잠재 공간 편집을 통해 직관적이고 의미 있는 음악 생성이 가능하다는 점이다.

ABSTRACT

Variational Autoencoder has already achieved great results on image generation and recently made promising progress on music sequence generation. However, the model is still quite difficult to control in the sense that the learned latent representations lack meaningful music semantics. What users really need is to interact with certain music features, such as rhythm and pitch contour, in the creation process so that they can easily test different composition ideas. In this paper, we propose a disentanglement by augmentation method to inspect the pitch and rhythm interpretations of the latent representations. Based on the interpretable representations, an intuitive graphical user interface demo is designed for users to better direct the music creation process by manipulating the pitch contours and rhythmic complexity.

연구 동기 및 목표

• 잠재 차원이 의미론적 의미를 가지지 못하는 VAE 기반 음악 표현의 해석 가능성 부족 문제를 해결하기 위해.
• 작곡 과정에서 음고 선과 리듬 복잡도와 같은 음악적 특징을 의미적으로 제어할 수 있도록 하기 위해.
• 음악 창작을 위한 직접적인 잠재 차원 조작이 가능한 직관적인 그래픽 사용자 인터페이스를 개발하기 위해.
• 통제된 증강을 통해 MusicVAE의 잠재 공간에서 음고와 리듬이 분리되어 있음을 경험적으로 검증하기 위해.
• 목표적 잠재 공간 편집을 통한 음악적으로 일관된 변형 생성의 가능성 입증하기 위해.

제안 방법

• 잠재 공간 의미 탐색을 위한 증강 학습 데이터 생성을 위해 음악 시퀀스에 점진적인 음정 이동과 노트 지속시간 분할을 적용하기 위해.
• 더 효율적인 기호 음악 표현 학습을 위해 LSTMs 대신 GRUs를 사용하여 MusicVAE 모델을 훈련하기 위해.
• 선형 회귀를 사용하여 음고 선 또는 리듬 변화와 유의미하게 상관관계가 있는 잠재 차원을 식별함으로써 분리 가능성을 확보하기 위해.
• 일부 분리된 차원(예: 음고)을 고정하고 다른 차원(예: 리듬)을 수정하여 원하는 특징을 가진 새로운 음악을 생성하기 위해.
• 실시간 음고 및 리듬 조작이 가능한 잠재 차원의 주요 요소를 직접 편집할 수 있도록 그래픽 사용자 인터페이스 설계하기 위해.
• 분리된 음고 및 리듬 구성 요소를 기반으로 SLERP 기반 양방향 보간을 사용하여 음악 클립 간 스타일 전이 수행하기 위해.

실험 결과

연구 질문

• RQ1 MusicVAE 모델의 잠재 공간에서 음고 선과 리듬 복잡도와 같은 의미 있는 음악 의미를 고립시킬 수 있는가?
• RQ2 음고 선과 리듬 변화가 특정 잠재 차원에 약간의 선형 변화를 유도하는가?
• RQ3 잠재 공간 내 음고와 리듬 표현은 분리되어 있는가? 즉, 기여하는 차원 간 중첩이 거의 없는가?
• RQ4 잠재 공간에서 음고 또는 리듬 차원만 조작함으로써 음악적으로 일관되고 해석 가능한 음악 변형을 생성할 수 있는가?
• RQ5 GUI 기반 인터페이스는 잠재 공간 편집을 통한 실시간, 직관적인 음악 생성 제어에 얼마나 효과적인가?

주요 결과

• 잠재 표현은 음고 선과 리듬 수정에 대해 약선형적으로 변화하며, 안정적이고 해석 가능한 의미 맵핑을 나타낸다.
• 음고 또는 리듬에 크게 영향을 주는 잠재 차원은 소수의 부분집합에 국한되며, 음고 민감성과 리듬 민감성 차원 간 거의 겹침이 없어 분리가 확인된다.
• 음고 민감성 차원만 조작하면 리듬이 유지되며 일관된 음고 변화가 생성되며, 리듬 민감성 차원을 조작하면 음표 밀도만 변화하고 음고 선은 손상되지 않는다.
• 음고 또는 리듬 차원을 따라 보간하면 부드럽고 음악적으로 일관된 전이가 발생하며, 각 축을 따라 명확한 스타일 변화가 나타난다.
• 비의미적인 잠재 차원을 수정하면 혼란스럽거나 음악적으로 자연스럽지 않은 변화가 발생하여, 분리된 구성 요소의 특이성이 확인된다.
• GUI는 사용자가 음고 및 리듬 표현을 직접 편집할 수 있도록 하여 직관적이고 실시간으로 음악 창작이 가능하게 하며, 새로운 플레이 가능한 멜로디를 생성한다.