[논문 리뷰] Learning Disentangled Representations of Timbre and Pitch for Musical Instrument Sounds Using Gaussian Mixture Variational Autoencoders

Yin-Jyun Luo, Kat Agres외 1명|arXiv (Cornell University)|2019. 06. 19.

Music and Audio Processing인용 수 28

한 줄 요약

이 논문은 음정과 톤을 별도의 인코더로 분리하여 실악기 음색과 음정을 분리 표현하는 가우시안 믹스처 변동형 오토인코더(GMVAE) 프레임워크를 제안한다. 음정과 음색 각각의 다른 가우시안 믹스처 컴포넌트에서 샘플링한 잠재변수를 병합하여 디코더에 입력함으로써, 제어 가능한 합성과 다대다 음색 이동을 가능하게 하였으며, 합성된 오디오에 대해 시험한 기기 분류기에서 높은 F-스코어(최대 0.958)를 기록하였다.

ABSTRACT

In this paper, we learn disentangled representations of timbre and pitch for musical instrument sounds. We adapt a framework based on variational autoencoders with Gaussian mixture latent distributions. Specifically, we use two separate encoders to learn distinct latent spaces for timbre and pitch, which form Gaussian mixture components representing instrument identity and pitch, respectively. For reconstruction, latent variables of timbre and pitch are sampled from corresponding mixture components, and are concatenated as the input to a decoder. We show the model efficacy by latent space visualization, and a quantitative analysis indicates the discriminability of these spaces, even with a limited number of instrument labels for training. The model allows for controllable synthesis of selected instrument sounds by sampling from the latent spaces. To evaluate this, we trained instrument and pitch classifiers using original labeled data. These classifiers achieve high accuracy when tested on our synthesized sounds, which verifies the model performance of controllable realistic timbre and pitch synthesis. Our model also enables timbre transfer between multiple instruments, with a single autoencoder architecture, which is evaluated by measuring the shift in posterior of instrument classification. Our in depth evaluation confirms the model ability to successfully disentangle timbre and pitch.

연구 동기 및 목표

• 실악기 사운드의 음색과 음정을 분리된 표현으로 학습하여 제어 가능한 오디오 합성을 가능하게 하기.
• 특히 실기 음원 기록에 대해 분리된 오디오 표현이 부족한 문제를 해결하기.
• 각 기기별 디코더를 학습하거나 범주형 조건을 요구하지 않고도 다대다 음색 이동을 가능하게 하기.
• 잠재 공간의 시각화, 분류기 F-스코어, 스펙트럼 중심점 분석을 통해 분리 정도를 평가하기.
• 모델의 일반화 능력과 해석 가능성에 대해 실감나는 제어 가능한 기기 사운드 생성을 탐색하기.

제안 방법

• 모델는 음정과 음색 각각의 별도 인코더를 사용하여, 각각 다른 잠재 공간을 학습하며, 이 공간은 가우시안 믹스처 컴포넌트를 이룬다.
• 음정과 음색의 잠재변수는 각각의 믹스처 컴포넌트에서 독립적으로 샘플링되고, 병합된 형태로 공유 디코더의 입력으로 제공된다.
• 잠재 차원에서의 분리 정도를 유도하기 위해 대각행렬 공분산을 가진 가우시안 사전확률을 사용하는 GMVAE 프레임워크를 적용한다.
• 공유 디코더는 병합된 음정과 음색의 잠재변수로부터 오디오 스펙트로그램을 재구성한다.
• 원본 및 합성 데이터에 대해 엔드 투 엔드로 학습된 기기 및 음정 분류기를 활용하여 분리 정도와 제어 가능성 평가.
• 스펙트럼 중심점의 분리 정도 평가를 위해 특정 잠재 차원을 수정하고 스펙트럼 중심점 값의 변화를 측정한다.

실험 결과

연구 질문

• RQ1 실악기 음원에서 GMVAE 기반 프레임워크가 음정과 음색을 성공적으로 분리 표현할 수 있는가?
• RQ2 분리된 잠재 요소를 조작함으로써 모델이 기기 사운드의 제어 가능한 합성을 얼마나 잘 수행할 수 있는가?
• RQ3 모델은 각 기기별 디코더나 범주형 조건 없이 다대다 음색 이동을 수행할 수 있는가?
• RQ4 학습된 표현이 범위를 초월한 음정이나 알려지지 않은 기기 조합에 대해 얼마나 잘 일반화되는가?
• RQ5 특정 음향 특성(예: 스펙트럼 중심점)과 관련된 잠재 차원은 무엇인가?

주요 결과

• 합성된 사운드에 대해 기기 분류기에서 높은 F-스코어(최대 0.958)를 기록하여 효과적인 분리 정도와 현실적인 합성의 성공을 확인하였다.
• 대부분의 소스-타겟 음색 이동 쌍에서 음정 분류기는 완벽한 F-스코어 유지로 음정이 이동 과정에서 그대로 유지됨을 시사한다.
• 피아노 → 첼로 및 피아노 → 바순 이동 시 F-스코어가 각각 0.750과 0.791로 떨어지며, 이는 음역 불일치와 모델의 일반화 한계로 인한 것으로 분석된다.
• 음색의 13번째 잠재 차원과 스펙트럼 중심점 사이에 유의미한 상관관계가 발견되었으며, 양측 검정 t-검정에서 p-값 < 0.05였다.
• 잠재 차원 탐색 결과, z¹³ₜ를 증가시킬수록 고주파 성분 에너지가 감소하고 스펙트럼 중심점 값이 낮아지며, 이는 해당 음향 특성의 분리 정도를 확인한다.
• 모델는 피아노 → 첼로, 프랑스 호른 → 바순 등 여러 기기 간 음색 이동을 성공적으로 수행하였으며, 사후 확률 이동이 α = 0.5에서 최대에 도달해 효과적인 제어를 보였다.