[논문 리뷰] Bootstrapping deep music separation from primitive auditory grouping principles

Prem Seetharaman, Gordon Wichern외 2명|arXiv (Cornell University)|2019. 10. 23.

Speech and Audio Processing참고 문헌 26인용 수 6

한 줄 요약

이 논문은 실제 정답이 없는 상태에서 복수의 기본 청각 그룹화 신호(예: 음고 근접도, 반복성, 톤)를 활용하여 지도 학습이 아닌 방법으로 깊이 있는 음악 소스 분리 모델을 훈련시키는 방법을 제안한다. 다수의 기본 알고리즘의 신뢰도 추정치를 활용해 레이블이 없는 유튜브 음악 혼합물에서 고품질의 소스 분리를 걸러내고, 이를 재혼성하여 합성 훈련 데이터로 만들며, 이를 통해 딥 클러스터링 네트워크를 미세조정한다—최종적으로 3.39 dB의 SDR를 기록하여 기본 알고리즘 앙상블을 초월하고 지도 학습 기준선에 근접하는 성능을 달성한다.

ABSTRACT

Separating an audio scene such as a cocktail party into constituent, meaningful components is a core task in computer audition. Deep networks are the state-of-the-art approach. They are trained on synthetic mixtures of audio made from isolated sound source recordings so that ground truth for the separation is known. However, the vast majority of available audio is not isolated. The brain uses primitive cues that are independent of the characteristics of any particular sound source to perform an initial segmentation of the audio scene. We present a method for bootstrapping a deep model for music source separation without ground truth by using multiple primitive cues. We apply our method to train a network on a large set of unlabeled music recordings from YouTube to separate vocals from accompaniment without the need for ground truth isolated sources or artificial training mixtures.

연구 동기 및 목표

• 대부분의 실세계 음성에서 고립된 소스가 실제 정답으로 제공되지 않는다는 점을 감안해, 합성 혼합물과 함께 고립된 소스가 필요한 깊이 있는 소스 분리 모델의 한계를 해결하고자 한다.
• 고립된 소스 녹음이 없는 대규모 비라벨 음성 데이터셋(예: 유튜브)에서 깊이 있는 신경망을 훈련시킬 수 있도록 하고자 한다.
• 실제 정답이 없더라도 성능을 예측할 수 있는 기본 기반 분리 결과에 대한 신뢰도 측정 기준을 개발하고자 한다. 이를 통해 고품질의 훈련 예제를 걸러낼 수 있도록 하고자 한다.
• 기본 클러스터링에서 유도된 고신뢰도 소스 추정치를 활용해 재혼성된 데이터를 기반으로 한 부트스트래핑 모델이 지도 학습 기준선 수준의 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• 원본 음악 혼합물에 복수의 기본 청각 그룹화 알고리즘(예: 고조성/비트 분리용 HPSS, 음고 근접도 분석용 Melodia, 마이크로 모odulation 및 반복성 탐지용 2DFT-M/R)을 적용하여 소프트 시간-주파수 마스크를 생성한다.
• 각 시간-주파수 포인트에서 이러한 기본 알고리즘의 출력을 2차원 임베딩 공간에 통합하며, 각 차원은 하나의 기본 알고리즘이 내린 분할 결정을 의미한다.
• 이러한 기본 클러스터링 결과를 바탕으로 비라벨 음악 혼합물에서 초기 소스 추정치(보컬 및 악기 반주)를 생성한다.
• 시간-주파수 포인트 간 기본 결정의 일관성에 기반한 신뢰도 측정 기준을 개발하며, 이는 분리 품질과 상관관계가 높다(MUSDB에서 SDR와 상관계수 r = 0.56).
• 신뢰도 기준으로 소스 추정치를 사분위수로 나누고, 고신뢰도 소스(Q2–Q4)를 재혼성하여 20,000개의 합성 훈련 혼합물을 생성한다.
• 표준 목적함수를 사용하여 크기 가중치와 ADAM 최적화를 적용해, 4개의 BLSTM 레이어와 20D 임베딩을 갖는 딥 클러스터링 네트워크를 재혼성 데이터에 대해 훈련시킨다.

실험 결과

연구 질문

• RQ1 실제 정답이 없더라도 복수의 기본 청각 그룹화 신호를 효과적으로 융합하여 고품질의 초기 소스 분리를 생성할 수 있는가?
• RQ2 실제 정답에 의존하지 않고도 기본 클러스터링 결과에서 유도된 신뢰도 측정 기준이 실제 분리 품질을 예측할 수 있는가?
• RQ3 기본 클러스터링에서 유도된 고신뢰도 소스 추정치를 활용해 재혼성된 합성 훈련 데이터를 생성할 수 있으며, 이를 통해 딥 네트워크가 새로운 혼합물에 일반화할 수 있는가?
• RQ4 예를 들어 유튜브와 같은 대규모 데이터에서의 다양성과 스케일 증가가 부트스트래핑된 딥 소스 분리 모델의 성능 향상에 기여하는가?
• RQ5 이 자기지도 학습 파이프라인을 통해 훈련된 모델이 지도 학습 기준선 수준의 성능을 달성할 수 있는가?

주요 결과

• 기본 클러스터링에서 유도된 신뢰도 측정 기준은 MUSDB 훈련 세트에서 실제 분리 성능과 중간 정도의 상관관계(r = 0.56)를 보이며, 저품질 훈련 예제를 효과적으로 걸러내는 데 기여한다.
• 기본 클러스터링 출력의 최고 신뢰도 사분위수(Q4)에서 유도된 재혼성 데이터에 대해 훈련된 딥 네트워크는 MUSDB 테스트 세트에서 3.39 dB의 SDR를 기록하여 기본 클러스터링 기준(2.93 dB SDR)을 초월한다.
• MUSDB와 유튜브(추가 831곡)의 데이터를 모두 활용해 훈련한 모델 역시 3.39 dB SDR를 기록하며, 데이터 다양성이 성능 향상에 기여함을 보여준다.
• 훈련 데이터 크기를 늘림에 따라 부트스트래핑 모델(3.39 dB SDR)과 지도 학습 기반 정답 네트워크 간 성능 격차는 줄어들지만 여전히 유의미하게 남아 있다.
• 단지 MUSDB 재혼성 데이터에만 훈련된 모델는 기본 클러스터링 기준보다 성능이 열 劣하다(2.71 dB vs 2.93 dB SDR)—이는 데이터 다양성이 성공에 핵심적임을 시사한다.
• 이 방법은 어떤 비라벨 음악 혼합물에서도 깊이 있는 소스 분리 모델을 훈련시킬 수 있도록 하며, 실세계 음성에서 지속적인 자기지도 학습의 길을 열어준다.