[논문 리뷰] A Unified Model for Zero-shot Music Source Separation, Transcription and Synthesis

Liwei Lin, Qiuqiang Kong외 2명|arXiv (Cornell University)|2021. 08. 07.

Music and Audio Processing인용 수 9

한 줄 요약

이 논문은 음고와 톤의 표현을 분리함으로써 음악 소스 분리, 자동 음악 편곡(AMT), 오디오 합성의 세 가지 작업을 통합한 제로샷 딥러닝 모델을 제안한다. 쿼리-예시 입력과 새로운 인덕티브 바이어스(음고에 대한 벡터 양자화 및 음고 이동에 불변인 손실 함수)를 사용하여, 재학습 없이도 새로운 악기에서의 합성까지 가능하게 하며, 편집된 점수는 분리 성능 향상에 강력한 보조 신호로 기여한다.

ABSTRACT

We propose a unified model for three inter-related tasks: 1) to extit{separate} individual sound sources from a mixed music audio, 2) to extit{transcribe} each sound source to MIDI notes, and 3) to extit{ synthesize} new pieces based on the timbre of separated sources. The model is inspired by the fact that when humans listen to music, our minds can not only separate the sounds of different instruments, but also at the same time perceive high-level representations such as score and timbre. To mirror such capability computationally, we designed a pitch-timbre disentanglement module based on a popular encoder-decoder neural architecture for source separation. The key inductive biases are vector-quantization for pitch representation and pitch-transformation invariant for timbre representation. In addition, we adopted a query-by-example method to achieve extit{zero-shot} learning, i.e., the model is capable of doing source separation, transcription, and synthesis for extit{unseen} instruments. The current design focuses on audio mixtures of two monophonic instruments. Experimental results show that our model outperforms existing multi-task baselines, and the transcribed score serves as a powerful auxiliary for separation tasks.

연구 동기 및 목표

• 세 가지 핵심 음악 처리 작업—소스 분리, 편곡, 합성—을 하나의 제로샷 프레임워크로 통합하기.
• 재학습 없이도 새로운 악기에 일반화할 수 있도록 쿼리-예시 입력을 활용하기.
• 분리된 음고와 톤 표현을 보조 신호로 활용하여 분리 성능 향상시키기.
• 더 나은 일반화와 합성 정밀도를 위해 의미 있는 음고와 톤 분리를 강제하는 인덕티브 바이어스 설계하기.
• 편집된 점수가 다중 작업 설정에서 소스 분리 성능 향상에 의미 있는 보조 신호로 기여하는지 입증하기.

제안 방법

• 모델은 단일 악기의 청소된 오디오 샘플을 저차원 벡터로 임bedding하는 데 쿼리-예시(QBE) 네트워크를 사용한다.
• 음고-톤 분리 모듈은 음고에 대한 벡터 양자화와 톤에 대한 음고 이동에 불변인 손실 함수를 사용하여 혼합 오디오 소스의 잠재 표현을 별개의 음고 및 톤 벡터로 분리한다.
• 편집기 컴포넌트는 분리된 음고 표현을 MIDI 노트로 변환하여 자동 음악 편곡을 가능하게 한다.
• 오디오 인코더-디코더 아키텍처는 분리된 음고 및 톤 표현에서 분리된 오디오 소스를 재구성한다.
• 대조 손실과 재구성 손실을 사용하여 소스 분리, 편곡, 합성의 다중 작업 목표로 엔드 투 엔드로 훈련된다.
• 합성은 음고 이동에 불변인 톤 손실 덕분에, 동일한 톤을 사용하여 새로운 음고 시퀀스로 새로운 오디오를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 새로운 악기에 대해 재학습 없이도 제로샷 음악 소스 분리, 편곡, 합성을 수행할 수 있는 단일 통합 모델이 가능한가?
• RQ2 음고-톤 분리가 다중 작업 학습 프레임워크에서 소스 분리 및 편곡 성능에 어떻게 기여하는가?
• RQ3 제안된 인덕티브 바이어스—음고에 대한 벡터 양자화와 톤에 대한 음고 이동 불변성—이 분리 및 일반화에 얼마나 기여하는가?
• RQ4 편집된 점수가 소스 분리 성능 향상에 의미 있는 보조 신호로 작용하는가?
• RQ5 분리 품질(합성에 유리)과 재구성 정밀도(분리에 유리) 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 MSI 모델은 다중 작업 및 단일 작업 베이스라인보다 SDR 기준 1.06점 높은 소스 분리 성능을 기록하여, 분리된 표현을 통한 공동 학습의 이점을 입증한다.
• 재학습 없이도 새로운 악기에 대해 성공적으로 분리 및 편집이 이루어지며, 그 결과는 그림 4와 오디오 데모에서 확인할 수 있다.
• 음고 이동에 불변인 손실을 포함한 MSI-DIS 버전은 기존 MSI 모델이 아닌 새로운 톤에서 오디오를 성공적으로 합성한다. 이는 인덕티브 바이어스의 효과를 입증한다.
• 더 나은 합성 품질에도 불구하고, MSI-DIS 모델은 MSI 모델보다 약간 낮은 분리 성능을 보이며, 이는 분리 품질과 재구성 정밀도 사이의 상충 관계를 시사한다.
• 분리된 음고 표현은 성능 향상에 기여하며, 편집된 점수가 강력한 보조 신호로 작용함을 입증하였고, 이는 MSS 전용 베이스라인 대비 성능 향상을 보여준다.
• spectrogram의 시각적 점검 결과, MSI-DIS 모델은 MSI 모델보다 더 깔끔하고 단성적(모노포닉)인 출력을 생성하는 것으로 나타났다.