[논문 리뷰] Hybrid Transformers for Music Source Separation

Simon Rouard, Francisco Massa외 1명|arXiv (Cornell University)|2022. 11. 15.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 하이브리드 디뮤즈의 내부 복소층을 시간 도메인과 스펙트럼 도메인에서 작동하는 자기-어텐션 및 크로스-어텐션 메커니즘으로 대체하는 크로스-도메인 트랜스포머 기반 아키텍처인 하이브리드 트랜스포머 디뮤즈(HT Demucs)를 제안한다. 800개의 추가 학습 음원, 희소 어텐션 커널, 소스별 미세조정을 활용하여 MUSDB18 HQ에서 SDR 9.20 dB의 새로운 최고 성능을 달성하였으며, 이는 이전 방법들보다 최대 0.45 dB 향상된 성능이다.

ABSTRACT

A natural question arising in Music Source Separation (MSS) is whether long range contextual information is useful, or whether local acoustic features are sufficient. In other fields, attention based Transformers have shown their ability to integrate information over long sequences. In this work, we introduce Hybrid Transformer Demucs (HT Demucs), an hybrid temporal/spectral bi-U-Net based on Hybrid Demucs, where the innermost layers are replaced by a cross-domain Transformer Encoder, using self-attention within one domain, and cross-attention across domains. While it performs poorly when trained only on MUSDB, we show that it outperforms Hybrid Demucs (trained on the same data) by 0.45 dB of SDR when using 800 extra training songs. Using sparse attention kernels to extend its receptive field, and per source fine-tuning, we achieve state-of-the-art results on MUSDB with extra training data, with 9.20 dB of SDR.

연구 동기 및 목표

• 트랜스포머가 제공하는 장거리 문맥 정보가 국소 음향 특징을 초월하여 음악 소스 분리 성능을 향상시키는지 조사하기 위해.
• MSS를 위한 이중 U-넷 아키텍처에서 시간-스펙트럼 어텐션 메커니즘의 효과를 평가하기 위해.
• 음악 소스 분리에서 일반적인 저자료 환경에서 효과적인 트랜스포머 기반 모델을 훈련하기 위한 데이터 및 아키텍처 요구사항을 규명하기 위해.
• 희소 어텐션과 미세조정이 수용성 범위를 확장하고 성능을 향상시키는 데 미치는 영향을 탐색하기 위해.

제안 방법

• 하이브리드 디뮤즈의 내부 복소층을 시간 도메인과 스펙트럼 도메인 내에서 자기-어텐션을 적용하고 이들 사이에서 크로스-어텐션을 수행하는 크로스-도메인 트랜스포머 인코더로 대체한다.
• 공유된 인코더-디코더 경로를 가진 이중 U-넷 아키텍처를 사용하며, 트랜스포머 인코더를 버팀목 부분에 통합한다.
• 로컬리 센시티브 해싱을 활용한 희소 어텐션을 적용하여 12.2초까지 수용성 범위를 확장하였으며, OOM 오류 없이 구현하였다.
• 내부 컬렉션에서 확보한 800개의 추가 음원과 함께 총 87개의 MUSDB18 음원으로 구성된 데이터셋을 사용해 훈련한다.
• 재믹싱 및 리피치팅을 포함한 데이터 증강 기법을 적용하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 기울기 클리핑과 웨이트 디케이를 적용한 소스별 미세조정을 통해 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 트랜스포머를 통한 장거리 어텐션 통합이 국소 복소층 모델 대비 음악 소스 분리 성능 향상에 기여하는가?
• RQ2 MUSDB18의 크기가 작다는 점을 감안할 때, 트랜스포머 기반 MSS 모델을 효과적으로 훈련하기 위해 추가로 얼마나 많은 학습 데이터가 필요한가?
• RQ3 희소 어텐션 메커니즘이 메모리 오버플로우 없이 더 긴 오디오 컨텍스트(예: 12.2초)를 효과적으로 모델링할 수 있는가?
• RQ4 데이터 증강과 소스별 미세조정이 저자료 환경에서 성능 향상에 얼마나 기여하는가?
• RQ5 깊이, 차원, 컨텍스트 길이와 같은 아키텍처 선택이 모델 성능 및 훈련 안정성에 미치는 영향은 어떠한가?

주요 결과

• 동일한 87개의 MUSDB18 음원으로 훈련된 경우 HT Demucs는 원본 하이브리드 디뮤즈보다 SDR에서 0.45 dB 향상되어 트랜스포머 모델링의 유용성을 입증한다.
• 800개의 추가 학습 음원을 사용한 결과, HT Demucs는 기준 모델 대비 0.46 dB 향상된 8.80 dB SDR를 달성하였다.
• 12.2초까지 컨텍스트를 확장하기 위해 희소 어텐션 커널을 적용한 결과, SDR에서 추가로 0.14 dB 향상되어 총 8.94 dB에 도달하였다.
• 소스별 미세조정을 통해 SDR가 0.25 dB 향상되어 MUSDB18 HQ 테스트 세트에서 최종 SDR 9.20 dB를 기록하였다.
• 재믹싱 데이터 증강 기법이 가장 큰 영향을 미쳤으며, 이 기법을 비활성화할 경우 SDR가 0.7 dB 감소하였다.
• 단일 CPU 코어에서 실시간 요인 2.04를 달성하여 복잡도 증가에도 불구하고 실행 속도가 실용 가능함을 보였다.