[논문 리뷰] Hybrid Spectrogram and Waveform Source Separation

Alexandre Défossez|arXiv (Cornell University)|2021. 11. 05.

Speech and Audio Processing참고 문헌 30인용 수 71

한 줄 요약

이 논문은 Temporal(파형)과 Spectrogram 도메인을 결합한 엔드-투-엔드 모델인 Hybrid Demucs를 제시하여 파형만 및 스펙트로그램만 접근 방식 대비 향상을 달성하고 MDX 2021 대회에서 우승했다.

ABSTRACT

Source separation models either work on the spectrogram or waveform domain. In this work, we show how to perform end-to-end hybrid source separation, letting the model decide which domain is best suited for each source, and even combining both. The proposed hybrid version of the Demucs architecture won the Music Demixing Challenge 2021 organized by Sony. This architecture also comes with additional improvements, such as compressed residual branches, local attention or singular value regularization. Overall, a 1.4 dB improvement of the Signal-To-Distortion (SDR) was observed across all sources as measured on the MusDB HQ dataset, an improvement confirmed by human subjective evaluation, with an overall quality rated at 2.83 out of 5 (2.36 for the non hybrid Demucs), and absence of contamination at 3.04 (against 2.37 for the non hybrid Demucs and 2.44 for the second ranking model submitted at the competition).

연구 동기 및 목표

• 스펙트로그램과 파형 표현을 소스 분리에 결합시키는 동기를 부여하여 각 도메인의 상보적 편향을 활용한다.
• 병렬의 시간 도메인(파형) 분기와 스펙트럴 분기를 가진 공유 코어로 Demucs 아키텍처를 확장한다.
• 압축 잔여 분기, 로컬 어텐션, 특이값 정규화를 통해 안정성과 성능을 향상시킨다.
• MusDB HQ와 MDX 챌린지 데이터셋에서 평가하고 인간 지각 평가를 포함한다.

제안 방법

• Demucs U-Net에 두 개의 병렬 분기: 시간 도메인 파형 분기와 스펙트럴(STFT 기반) 분기를 확장한다.
• 주파수별 컨볼루션으로 스펙트럴 데이터를 처리하고 주파수 빈을 점진적으로 감소시켜 시간적 특징과 정렬시킨다.
• 공유 인코더/디코더 코어에서 시간 및 스펙트럴 표현을 병합한 다음 공동 파형 출력을 생성한다.
• 길게 확장된 컨텍션, BiLSTM, 로컬 어텐션이 결합된 압축 잔여 분기를 도입하여 길이 방향의 컨텍스트와 지역 맥락을 포착한다.
• LayerScale 및 정규화 전략을 사용하여 학습을 안정시키고, 일반화를 개선하기 위해 특이값 정규화를 적용한다.
• MusDB HQ 및 MDX 데이터셋에서 학습 및 평가하고 스펙트로그램-전용 및 파형-전용 베이스라인과 비교하며 인간 MOS 및 bleeding 평가를 포함한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 하이브리드 파형-스펙트로그램 모델이 음악 소스 분리에서 도메인별 모델을 능가할 수 있는가?
• RQ2 하이브리드 설정에서 성능과 안정성을 가장 크게 향상시키는 아키텍처 구성요소(압축 잔여, 로컬 어텐션, BiLSTM)는 무엇인가?
• RQ3 Hybrid Demucs는 MDX 및 MusDB HQ에서 소스(drums, bass, other, vocals)별로 최첨단 베이스라인과 비교했을 때 어떤 성능을 보이는가?
• RQ4 하이브리드 모델의 주관적 품질 및 오염(bleeding) 특성은 파형-전용 및 스펙트로그램-전용 모델과 비교해 어떤가?

주요 결과

방법	전체	드럼	베이스	다른	보컬
Hybrid Demucs	7.33	8.04	8.12	5.19	7.97

• Hybrid Demucs가 MDX Track A에서 7.32 dB SDR을 달성하고(MusDB HQ 학습), Track B에서 추가 데이터로 8.11 dB를 달성하여 베이스라인에 비해 높은 성능을 보였다.
• MDX Track A에서 Hybrid Demucs는 Other 및 Vocals 소스의 nSDR을 일부 베이스라인 대비 크게 개선했지만 이들 소스에서 순수 스펙트로그램 기반 모델의 최상위 모델을 항상 능가하지는 않았다.
• MusDB HQ에서 Hybrid Demucs는 Drums 및 Bass에 대해 최상의 SDR을 제공하고 Other 및 Vocals에서 파형만 Demucs 대비 상당한 개선을 보였으나 KUIELAB-MDX-Net은 일부 소스에서 여전히 경쟁적이거나 우수했다.
• 인간 평가에서 Hybrid Demucs의 bleeding이 크게 감소하는 경향이 나타났고, 인지된 품질 향상은 소스에 따라 혼재되며 Vocals는 보통 스펙트로그램 기반 또는 다른 특화 모델에 의해 더 잘 처리되었다.
• ablation 연구는 Local Attention과 시간 도메인 및 하이브리드 모델의 조합이 성능 향상에 결정적이며, EMA와 SVD 패널티로 안정성이 강화됨을 시사한다.