[논문 리뷰] A Universal Music Translation Network

Noam Mor, Lior Wolf외 2명|arXiv (Cornell University)|2018. 05. 21.

Music and Audio Processing참고 문헌 23인용 수 42

한 줄 요약

보편적 인코더-디코더 프레임워크가 공유 인코더와 다중 도메인 WaveNet 자동인코더, 적대적 도메인 혼란을 통해 악기, 장르 및 스타일 전반의 음악을 번역하며, 매칭 데이터 없이도 보지 못한 도메인에서 번역을 가능하게 한다.

ABSTRACT

We present a method for translating music across musical instruments, genres, and styles. This method is based on a multi-domain wavenet autoencoder, with a shared encoder and a disentangled latent space that is trained end-to-end on waveforms. Employing a diverse training dataset and large net capacity, the domain-independent encoder allows us to translate even from musical domains that were not seen during training. The method is unsupervised and does not rely on supervision in the form of matched samples between domains or musical transcriptions. We evaluate our method on NSynth, as well as on a dataset collected from professional musicians, and achieve convincing translations, even when translating from whistling, potentially enabling the creation of instrumental music by untrained humans.

연구 동기 및 목표

• 쌍 데이터나 전사 없이 악기, 스타일 및 장르 간의 교차 도메인 음악 번역을 동기 부여하고 시연한다.
• 다양한 음악 입력을 도메인 독립적인 잠재 공간으로 매핑하는 단일 보편적 인코더를 제안한다.
• 도메인 정보를 분리하여 다중 도메인 특화 디코더를 사용해 고품질 번역을 가능하게 한다.
• 본 방법이 보지 못한 도메인에 일반화되는지 보이고, 인간 번역가와 비교한 지각적 및 자동 평가를 분석한다.

제안 방법

• 모든 음악 도메인에 걸쳐 공유 인코더를 사용하고 다중 도메인 특화 WaveNet 디코더를 둔다.
• 잠재 공간에서 도메인 혼란 적대적 손실과 함께 디노이징 자동인코더 목표로 학습하여 도메인 특화 인코딩을 억제한다.
• 입력 오디오에 국소 랜덤 피치 변조를 추가하여 고수준 의미 표현을 촉진하고 암기를 줄인다.
• 인코더의 잠재 표현에 조건화된 WaveNet 자기회귀 디코더를 사용하여 디코딩하며, 학습 중에는 교사 강제 학습을 사용한다.
• 추론 시에는 왜곡 없이 대상 도메인에 해당하는 디코더와 공유 인코더를 통해 모든 도메인의 입력을 번역한다.
• 도메인 비가역 인코딩을 강제하기 위해 교차 엔트로피 재구성 손실과 도메인 분류 손실로 최적화한다.

실험 결과

연구 질문

• RQ1 단일 공유 인코더가 매칭된 쌍 없이도 여러 음악 도메인 간의 번역에 sufficient 도메인 불변 표현을 학습시킬 수 있는가?
• RQ2 보지 못한 도메인(예: 휘파람 소리)이 모델 재학습 없이 대상 도메인으로 어느 정도 번역될 수 있는가?
• RQ3 입력 증강과 도메인 혼란이 인간 연주자와 비교하여 번역의 품질과 충실도에 어떤 영향을 미치는가?
• RQ4 도메인 간에 잠재 공간이 피치와 음색 정보를 음악적으로 의미 있게 인코딩한다는 증거는 무엇인가?
• RQ5 번역 과정이 소스 혼합에 강건하고 자기회귀 디코딩에서 시간적 구조를 유지하는가?

주요 결과

• 본 방법은 악기, 스타일 및 장르 간의 설득력 있는 번역을 달성하며 일부 작업에서 전문 음악가와 비슷하거나 약간 미치지 못한다.
• 보편적 인코더가 휘파람 등 보지 못한 도메인에 일반화되어 도메인 특화 재학습 없이도 번역을 가능하게 한다.
• 입력에 국소 피치 변조를 추가하고 도메인 혼란 손실을 사용하는 것은 학습 안정성과 품질에 결정적이며, 이를 제거한 제거 실험은 수렴하지 않거나 학습이 좋지 않다.
• NSynth와 유사한 데이터에서 임베딩이 피치 정보를 보존하여 의미 있는 교차 도메인 잠재 표현을 나타낸다.
• 잠재 공간에서의 선형 블렌딩은 음악 구간 간에 자연스럽고 매끄러운 의미적 혼합을 제공한다.