[논문 리뷰] Learning a Joint Embedding Space of Monophonic and Mixed Music Signals for Singing Voice

Kyungyun Lee, Juhan Nam|arXiv (Cornell University)|2019. 06. 26.

Speech and Audio Processing참고 문헌 29인용 수 8

한 줄 요약

이 논문은 음악 믹스업을 통해 생성한 합성 데이터셋을 기반으로 한 메트릭 학습 방식을 사용하여 단성음 및 혼합 음악 트랙 간의 공유 표현을 학습하는 동시 임베딩 모델을 제안한다. 이 모델은 보컬 분離 없이도 효과적인 도메인 간 가수 검색을 가능하게 하여 도메인 내 및 도메인 간 작업에서 뛰어난 성능을 달성하며, CROSS 모델이 도메인 특화 기준 모델을 능가한다.

ABSTRACT

Previous approaches in singer identification have used one of monophonic vocal tracks or mixed tracks containing multiple instruments, leaving a semantic gap between these two domains of audio. In this paper, we present a system to learn a joint embedding space of monophonic and mixed tracks for singing voice. We use a metric learning method, which ensures that tracks from both domains of the same singer are mapped closer to each other than those of different singers. We train the system on a large synthetic dataset generated by music mashup to reflect real-world music recordings. Our approach opens up new possibilities for cross-domain tasks, e.g., given a monophonic track of a singer as a query, retrieving mixed tracks sung by the same singer from the database. Also, it requires no additional vocal enhancement steps such as source separation. We show the effectiveness of our system for singer identification and query-by-singer in both the same-domain and cross-domain tasks.

연구 동기 및 목표

• 단성음 및 혼합 음악 신호 간의 의미적 갭을 해소하기 위해 가수 분석에서의 문제를 해결한다.
• 단성음 및 혼합 오디오 도메인 간에 가수 관련 정보를 전이할 수 있도록 한다.
• 동일 가수의 트랙이 도메인에 관계없이 가까이 맵핑되는 통합 임베딩 공간을 개발한다.
• 직접 혼합 신호로 훈련함으로써 보컬 분離나 보컬 강화에 의존하지 않도록 한다.

제안 방법

• DAMP 데이터셋의 단성음 보컬 트랙과 musdb18의 배경 음악을 음악 믹스업 파이프라인을 통해 결합하여 합성 훈련 데이터를 생성한다.
• 동일 가수 간의 거리가 최소화되고 다른 가수 간의 거리가 최대화되도록 하는 메트릭 임베딩을 학습하기 위해 시아미즈 신경망 아키텍처를 사용한다.
• 동일 가수의 임베딩이 다른 가수의 임베딩보다 가까워지도록 하기 위해 대비 손실(contrastive loss)을 사용하여 모델을 훈련한다.
• 멜스펙트로그램을 입력 특징으로 사용하고, 학습된 임베딩 공간을 시각화하기 위해 t-SNE를 적용한다.
• 두 모델을 훈련한다: MIXED(각 도메인 별 별도의 임베딩) 및 CROSS(모든 도메인 간 공유 임베딩 공간).
• 트랙 수준의 임베딩을 평균하여 가수 모델을 구축하며, 향후 GMM 또는 PCA를 사용한 개선이 가능하다.

실험 결과

연구 질문

• RQ1 단성음 및 혼합 음악 신호 양쪽 모두에서 가수 신원을 포괄하는 통합 임베딩 공간을 학습할 수 있는가?
• RQ2 합성 믹스업 데이터셋에서의 메트릭 학습이 효과적인 도메인 간 가수 식별을 가능하게 하는가?
• RQ3 통합 모델의 성능이 도메인 특화 모델 대비 도메인 내 및 도메인 간 작업에서 어떻게 비교되는가?
• RQ4 모델은 보컬 분리가 필요 없이 실제 혼합 녹음본으로 일반화 가능한가?
• RQ5 배경 음악은 가수 임베딩 품질에 어떤 영향을 미치며, 신호 대 잸비율이 다양할 경우 모델의 강건성은 어떠한가?

주요 결과

• CROSS 모델은 도메인 내 및 도메인 간 가수 식별에서 강력한 성능을 보이며 도메인 특화 기준 모델을 능가한다.
• 통합 임베딩 공간은 동일 가수의 단성음 및 혼합 트랙을 서로 가까이 맵핑하여 도메인 간 검색을 가능하게 한다.
• t-SNE 시각화 결과, CROSS 모델은 동일 가수 트랙이 도메인을 초월해 군집되는 공유 표현을 학습했다는 것을 확인한다.
• 모델은 실제 혼합 녹음본으로 잘 일반화되며 다양한 신호 대 잷비율 조건에서도 강건성을 유지한다.
• 합성 믹스업 데이터셋을 통해 수동 애너테이션이나 소스 분리 없이도 효과적인 훈련이 가능하다.
• 보컬 강화나 소스 분리가 필요 없어져 실세계 응용 프로그램에 구현하는 것을 단순화한다.