[논문 리뷰] Modulated Variational auto-Encoders for many-to-many musical timbre transfer

Adrien Bitton, Philippe Esling외 1명|arXiv (Cornell University)|2018. 09. 29.

Music and Audio Processing참고 문헌 21인용 수 16

한 줄 요약

이 논문은 특징별 선형 조절(FiLM)을 통해 생성을 조절하고 최대 평균 차이(MMD)를 사용해 안정적인 훈련을 수행하는 경량이며 비대칭적 기반의 다대다 음악 톤 테이트 전이를 위한 모odulated Variational Auto-Encoders (MoVE)를 소개한다. MoVE는 3차원 잠재공간을 가진 단일 공유 인코더-디코더 아키텍처를 사용하여 다수의 악기 간에 제어 가능하고 빠르며 효과적인 톤 테이트 전이를 가능하게 하며, 작은 데이터셋에서도 높은 품질의 오디오 재구성과 합성을 달성한다.

ABSTRACT

Generative models have been successfully applied to image style transfer and domain translation. However, there is still a wide gap in the quality of results when learning such tasks on musical audio. Furthermore, most translation models only enable one-to-one or one-to-many transfer by relying on separate encoders or decoders and complex, computationally-heavy models. In this paper, we introduce the Modulated Variational auto-Encoders (MoVE) to perform musical timbre transfer. We define timbre transfer as applying parts of the auditory properties of a musical instrument onto another. First, we show that we can achieve this task by conditioning existing domain translation techniques with Feature-wise Linear Modulation (FiLM). Then, we alleviate the need for additional adversarial networks by replacing the usual translation criterion by a Maximum Mean Discrepancy (MMD) objective. This allows a faster and more stable training along with a controllable latent space encoder. By further conditioning our system on several different instruments, we can generalize to many-to-many transfer within a single variational architecture able to perform multi-domain transfers. Our models map inputs to 3-dimensional representations, successfully translating timbre from one instrument to another and supporting sound synthesis from a reduced set of control parameters. We evaluate our method in reconstruction and generation tasks while analyzing the auditory descriptor distributions across transferred domains. We show that this architecture allows for generative controls in multi-domain transfer, yet remaining light, fast to train and effective on small datasets.

연구 동기 및 목표

• 기존 모델의 음악 톤 테이트 전이에 대한 한계, 특히 대칭적 훈련에 의존하고, 높은 계산 비용을 유발하며, 여러 악기 간 일반화가 어려운 점을 해결하기 위해.
• 각 도메인 별 별도의 인코더나 디코더 없이도 다대다 톤 테이트 전이가 가능한 통합적이고 경량의 아키텍처를 개발하기 위해.
• 피치, 옥타브, 악기 정보에 기반한 3차원 잠재공간을 통해 오디오 생성에 고수준의 명시적 제어를 가능하게 하기 위해.
• 오디오 기술적 특성과 청각적 측정치를 사용하여 재구성, 전이, 생성 합성 성능을 평가하기 위해.
• 안정성과 제어 가능성을 유지하면서도 작은 데이터셋에서의 효과성을 입증하기 위해.

제안 방법

• MoVE는 공유 인코더와 디코더를 가진 변동형 오토인코더(VAE)를 사용하며, 악기, 피치, 옥타브 정보에 기반해 톤 테이트 특성을 제어하기 위해 특징별 선형 조절(FiLM)을 통해 조절한다.
• 훈련 목표는 대칭적 손실을 최대 평균 차이(MMD)로 대체하여 훈련의 안정성과 속도를 향상시키고 모드 붕괴를 방지한다.
• 잠재공간은 3차원이며, 톤 테이트 모핑과 사운드 합성을 위한 직접적 사용자 상호작용과 부드러운 보간을 가능하게 한다.
• 도메인 정보는 임bedding되어 네트워크 내부 레이어를 조절하는 데 사용되어 단일 모델 내에서 다중 도메인 전이를 가능하게 한다.
• 오디오 기술적 특성(스펙트럼 중심, 평탄도, 롤오프, 음량)을 사용해 전이된 톤 테이트의 청각적 정확성을 분석하고 검증한다.
• 모델은 중간 크기의 단일 노트 녹음 데이터셋에서 엔드 투 엔드로 훈련되어, 재학습 없이도 여러 악기 간 전이가 가능하다.

실험 결과

연구 질문

• RQ1 단일 VAE 기반 아키텍처가 대칭적 훈련이나 도메인 별 디코더 없이도 다대다 음악 톤 테이트 전이를 수행할 수 있는가?
• RQ2 MMD 손실이 음성 생성 작업에서 안정적이고 신속한 수렴을 위해 대칭적 훈련을 대체하는 데 얼마나 효과적인가?
• RQ3 3차원 잠재공간이 제어 가능하고 청각적으로 의미 있는 톤 테이트 모핑과 합성을 얼마나 잘 지원하는가?
• RQ4 교차 도메인 전이 중 오디오 기술적 특성(예: 스펙트럼 중심)의 다중모달 분포가 얼마나 잘 유지되는가?
• RQ5 창문 기반 재구성 기법을 적용하여 전체 멜로디 전이에 일반화할 수 있는가?

주요 결과

• MoVE는 대칭적 손실을 MMD로 대체함으로써 안정적이고 빠른 훈련을 달성하여 훈련 시간을 단축하고 모드 붕괴 없이 수렴성을 향상시켰다.
• 모델은 낮은 RMSE(예: 바이올린의 경우 0.3271)와 낮은 LSD(예: 바이올린의 경우 773.65)로 오디오를 재구성하여 고해상도 신호 재구성 능력을 보였다.
• 알토 색소폰, 플루트, 바이올린, 프랑스 호른 등 다양한 악기 간 전이 성능이 뛰어나 MMD 값은 3.5e-3 이하, k-NN 점수는 60k 이하로 나타나 정확한 도메인 전이를 확인했다.
• 전이된 샘플의 오디오 기술적 특성 분포(예: 스펙트럼 중심)가 목표 도메인의 분포와 유사하여 청각적 톤 테이트 특성의 성공적인 전이를 확인했다.
• 3차원 잠재공간은 부드럽고 연속적인 톤 테이트 모핑과 직접적 사용자 제어를 가능하게 하여 고수준 매개변수로 실시간 사운드 합성을 지원한다.
• 창문 기반 세그먼트 처리를 통해 전체 멜로디 파assage를 성공적으로 전이하여 실제 음악 시퀀스 적용 가능성도 입증했다.