[논문 리뷰] WildMix Dataset and Spectro-Temporal Transformer Model for Monoaural Audio Source Separation

Amir Zadeh, Tianjun Ma외 2명|arXiv (Cornell University)|2019. 11. 21.

Speech and Audio Processing참고 문헌 23인용 수 6

한 줄 요약

이 논문은 25개의 사운드 클래스와 복잡하고 임의의 혼합을 포함한 다양한 단음원 음원 분리 데이터셋인 WildMix를 소개하고, 시간적 및 주파수 도메인에서 장거리 의존성을 모델링하는 스펙트로-타임스터럴 인코더(STE)를 갖춘 새로운 트랜스포머 기반 모델인 스펙트로-타임스터럴 트랜스포머(STT)를 제안한다. STT는 WildMix에서 최신 기술 성능을 달성하여 모든 서브데이터셋에서 기존 베이스라인을 크게 능가한다.

ABSTRACT

Monoaural audio source separation is a challenging research area in machine learning. In this area, a mixture containing multiple audio sources is given, and a model is expected to disentangle the mixture into isolated atomic sources. In this paper, we first introduce a challenging new dataset for monoaural source separation called WildMix. WildMix is designed with the goal of extending the boundaries of source separation beyond what previous datasets in this area would allow. It contains diverse in-the-wild recordings from 25 different sound classes, combined with each other using arbitrary composition policies. Source separation often requires modeling long-range dependencies in both temporal and spectral domains. To this end, we introduce a novel trasnformer-based model called Spectro-Temporal Transformer (STT). STT utilizes a specialized encoder, called Spectro-Temporal Encoder (STE). STE highlights temporal and spectral components of sources within a mixture, using a self-attention mechanism. It subsequently disentangles them in a hierarchical manner. In our experiments, STT swiftly outperforms various previous baselines for monoaural source separation on the challenging WildMix dataset.

연구 동기 및 목표

• 표준 코ctail Party 또는 음악 분리 시나리오를 넘어서는 실제 세계의 다양한 단음원 음원 분리 데이터셋이 부족한 문제를 해결하기 위해.
• 복잡한 음향 혼합에서 장기적인 시간적 및 주파수적 의존성을 포착할 수 있는 딥 러닝 모델을 개발하기 위해.
• 스펙트로-타임스터럴 공간에서 겹치는 음원을 분리하기 위해 특별히 설계된 트랜스포머 기반 아키텍처를 설계하기 위해.
• 실제 세계의 청각 복잡성을 반영하는 도전적인 다양성 있는 데이터셋에서 모델의 성능을 평가하기 위해.

제안 방법

• 25개의 사운드 클래스를 포함한 새로운 데이터셋인 WildMix를 제안하며, 임의의 시작 시간과 음량을 사용하여 현실적이고 복잡한 혼합을 구성한다.
• 시간적 및 주파수적 차원을 별도로 처리하면서도 통합적으로 처리하는 전용 스펙트로-타임스터럴 인코더(STE)를 갖춘 트랜스포머 기반 모델인 스펙트로-타임스터럴 트랜스포머(STT)를 도입한다.
• 입력 스펙트로그램 내에서 관련된 주파수 행과 시간 열을 강조하기 위해 STE에 자기주의 주의(self-attention) 메커니즘을 활용하여 시공간적 의존성을 공동으로 모델링한다.
• STE에서 이중 경로 아키텍처를 적용: 하나의 경로는 시간 모델링을 위해, 다른 하나는 주파수 모델링을 위해 전용으로 설계되며, 양쪽 모두 컨볼루션 레이어와 멀티헤드 자기주의 주의를 통합한다.
• 복원 정밀도 향상을 위해 디코더 헤드에 마스킹을 적용하여 자동회귀적 방식으로 음원 웨이브폼을 생성한다.
• 모델 성능 최적화를 위해 1.5개월 동안 12개의 Tesla V100 GPU를 활용해 광범위한 하이퍼파rameter 서치를 수행한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 다양한 사운드 클래스를 포함한 실제 세계의 복잡한 단음원 혼합에서 겹치는 음원을 효과적으로 분리할 수 있는가?
• RQ2 스펙트로-타임스터럴 인코더(STE)에서 별도의 시간적 및 주파수적 모델링 경로가 표준 트랜스포머 인코더에 비해 음원 분리 성능에 기여하는 바는 무엇인가?
• RQ3 제안된 STT 모델은 다양한 수의 음원(2, 3, 5개)과 음원 클래스 조합(이종, 내종, 하이브리드)에 대해 일반화 가능한가?
• RQ4 STT의 개별 구성 요소(예: CNN, 멀티헤드 정규화, 마스킹)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• STT는 WildMix의 모든 서브데이터셋에서 최고 성능을 기록하였으며, 2개의 음원이 있는 하이브리드 파artition에서 평균 SDR가 9.578에 도달했다.
• 완전한 STT 모델은 모든 아블레이션 변형보다 뛰어난 성능을 보이며, 이는 이중 경로 STE, CNN, 디코더의 마스킹 등 모든 구성 요소가 최적 성능을 내기 위해 필수적임을 입증한다.
• 아블레이션 연구 결과, 주파수 경로를 제거한 경우(TP-only) 또는 시간 경로를 제거한 경우(SP-only) 성능 저하가 발생하여 공동 모델링의 중요성을 확인한다.
• STT는 RNN 기반 모델들(예: DRNN, SRNN)과 심지어 LSTM 기반 모델들(L2L, OTF)보다도 뚜렷한 성능 우월성을 보이며, 이는 이 작업에 대해 트랜스포머 아키텍처의 우수성을 입증한다.
• 음원 수가 증가함에 따라 성능 저하가 발생함을 확인하였으며(2에서 5로 증가), 이는 작업의 복잡도 증가를 반영한다. 그러나 STT는 모든 설정에서 강력한 성능 유지를 보였다.
• 내종 파artition는 이종 또는 하이브리드 파artition보다 略적으로 더 어려운 편이었으며, 이는 같은 클래스 내 음원 간 유사도가 높아 분리가 더 어려운 데 기인할 가능성이 있다.