[논문 리뷰] Content based singing voice source separation via strong conditioning using aligned phonemes

Gabriel Meseguer-Brocal, Geoffroy Peeters|arXiv (Cornell University)|2020. 08. 05.

Speech and Audio Processing참고 문헌 41인용 수 6

한 줄 요약

이 논문은 시간에 정렬된 가사와 모음소리가 포함된 새로운 다중모odal 다중트랙 데이터셋을 소개하고, 모음소리 임bedding을 통해 강한 조건부 조절을 제공하는 U-Net 기반의 노래 음성 분리 모델을 제안한다. 프레임 단위의 음소 정보에 조건부로 작용하는 특징 기반 선형 조정(FiLM) 레이어를 적용함으로써, 더 이상의 복잡한 설정보다 단순한 강한 조건부 설정이 더 뛰어난 성능을 내는 최신 기술 수준의 결과를 달성한다.

ABSTRACT

Informed source separation has recently gained renewed interest with the introduction of neural networks and the availability of large multitrack datasets containing both the mixture and the separated sources. These approaches use prior information about the target source to improve separation. Historically, Music Information Retrieval researchers have focused primarily on score-informed source separation, but more recent approaches explore lyrics-informed source separation. However, because of the lack of multitrack datasets with time-aligned lyrics, models use weak conditioning with non-aligned lyrics. In this paper, we present a multimodal multitrack dataset with lyrics aligned in time at the word level with phonetic information as well as explore strong conditioning using the aligned phonemes. Our model follows a U-Net architecture and takes as input both the magnitude spectrogram of a musical mixture and a matrix with aligned phonetic information. The phoneme matrix is embedded to obtain the parameters that control Feature-wise Linear Modulation (FiLM) layers. These layers condition the U-Net feature maps to adapt the separation process to the presence of different phonemes via affine transformations. We show that phoneme conditioning can be successfully applied to improve singing voice source separation.

연구 동기 및 목표

• 노래 음성 분리 작업을 위한 시간에 정렬된 가사와 모음소리를 포함한 다중트랙 데이터셋의 부족을 해결하기 위해.
• 비정렬된 텍스트에 비해 더 높은 성능 향상을 이끌어내기 위해, 프레임 단위로 정렬된 모음소리를 활용한 강한 조건부 조절을 탐색하기 위해.
• 데이터 기반 딥 러닝 프레임워크에서 모음소리 기반 조건부 조절의 효과성을 평가하기 위해.
• 이 작업에서 단순하고 파rameter 효율적인 조건부 조절 메커니즘이 더 복잡한 메커니즘을 능가하는지 조사하기 위해.

제안 방법

• 모델는 특징 기반 선형 조정(FiLM) 레이어를 사용하여 음소 정보에 따라 특징 맵을 조건부로 조절하는 U-Net 아키텍처를 사용한다.
• 모음소리 활성화는 FiLM 레이어의 애핀 변환을 제어하는 감마(gamma) 및 베타(beta) 파라미터로 임베딩된다.
• 입력은 혼합 음성의 세기 스펙트로그램과 단어 수준에서 시간에 정렬된 모음소리 행렬을 포함한다.
• 모음소리 행렬은 사전에 학습된 ASR 시스템을 사용한 강제 정렬을 통해 유도되며, 프레임 수준의 대응을 보장한다.
• 모델는 표준 손실 함수를 사용하여 예측된 음성 소스와 목표 음성 소스 간의 차이를 최소화하도록 훈련된다.
• 다양한 조건부 설정(configuration)이 평가되며, 이는 강한 조건부 조절 대비 약한 조건부 조절과 기저 텐서의 다양한 파arameter화 방식을 포함한다.

실험 결과

연구 질문

• RQ1 시간에 정렬된 모음소리를 사용한 강한 조건부 조절이 비정렬된 가사에 기반한 약한 조건부 조절보다 노래 음성 분리 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 간단하고 파rameter가 적은 조건부 조절 메커니즘(예: 전역 변환)이 더 복잡하고 파rameter가 많은 메커니즘을 능가하는가?
• RQ3 모음소리 수준의 조건부 조절은 침묵 또는 복잡한 보컬 프레임에서 배경 악기와 보컬을 분리하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ4 오류가 포함된 주석(annotation)과 단어 내에서 동시에 발생하는 모음소리가 강한 조건부 조절 모델의 성능을 얼마나 방해하는가?

주요 결과

• 시간에 정렬된 모음소리 임베딩을 사용한 제안된 강한 조건부 조절은 기준 U-Net 및 약한 조건부 조절 기준선 대비 SDR, SIR, PES 지표를 크게 향상시킨다.
• 가장 단순한 강한 조건부 조절 설정인 S_s는 다른 모든 설정, 즉 190만 개 이상의 추가 파라미터를 가진 설정들보다도 뛰어난 성능을 보인다.
• 단지 480개의 학습 가능한 파라미터를 가진 모델(S_s)이 197만 개의 파라미터를 가진 모델(S_a)보다 더 뛰어난 성능을 내어, 단순한 조건부 조절이 더 잘 일반화됨을 시사한다.
• 알고리즘적 아티팩트(SAR)는 일관되게 감소하지 않아, 아티팩트 발생은 조건부 조절 메커니즘보다 훈련 데이터 품질에 더 의존함을 시사한다.
• 최고의 모델(S_s)에서 SDR, SIR, SAR의 분포가 더 높은 값으로 이동하여, 데이터셋 전반에 걸쳐 더 견고하고 정확한 분리 성능을 보이고 있음을 나타낸다.
• 약한 조건부 조절 모델은 파라미터 수에 관계없이 유사한 성능을 보이며, 채널 수준의 제어는 전역적인 음소 기반 조건부 조절보다 효과가 떨어짐을 시사한다.