[논문 리뷰] SLICE: Speech Enhancement via Layer-wise Injection of Conditioning Embeddings

Seokhoon Moon, K. Jung외 1명|arXiv (Cornell University)|2026. 03. 05.

Speech and Audio Processing인용 수 0

한 줄 요약

SLICE는 다중 작업 WavLM 인코더를 사용한 계층별 타임스텝 임베딩을 통해 모든 잔차 블록에 degradation 컨디셔닝을 주입하여, 견고한 다중 저하 음성 향상을 가능하게 한다.

ABSTRACT

Real-world speech is often corrupted by multiple degradations simultaneously, including additive noise, reverberation, and nonlinear distortion. Diffusion-based enhancement methods perform well on single degradations but struggle with compound corruptions. Prior noise-aware approaches inject conditioning at the input layer only, which can degrade performance below that of an unconditioned model. To address this, we propose injecting degradation conditioning, derived from a pretrained encoder with multi-task heads for noise type, reverberation, and distortion, into the timestep embedding so that it propagates through all residual blocks without architectural changes. In controlled experiments where only the injection method varies, input-level conditioning performs worse than no encoder at all on compound degradations, while layer-wise injection achieves the best results. The method also generalizes to diverse real-world recordings.

연구 동기 및 목표

• 실세계의 다중 저하 조건(노이즈, 잔향, 왜곡)에서 강건한 음성 향상을 촉진한다.
• 아키텍처 변화 없이 모든 네트워크 계층에 전달되는 컨디셔닝 전략을 제안한다.
• 컨디셔닝을 위한 해석 가능한 분리된 저하 표현을 생성하기 위해 사전 학습된 인코더를 활용한다.

제안 방법

• WavLM 기반의 저하 인식 인코더를 도입하여 고정 크기의 저하 벡터 h를 출력하도록 SGMSE+를 확장한다.
• 노이즈 분류, 잔향 T60 회귀, 왜곡 강도 등 세 가지 특수 헤드를 사용하고 다중 작업 보조 손실을 준다.
• h를 분기별 임베딩으로 투영하고 이를 연결해 c_extra를 형성하여 타임스텝 임베딩 e_t에 더한다(계층별 컨디셔닝).
• c_extra를 타임스텝 임베딩에 주입하여 모든 잔차 블록이 컨디셔닝 정보를 받도록 한다(아키텍처 변화 없음).
• 점수 매칭 손실과 보조 손실의 결합 손실로 학습하고, 학습 중 컨디셔닝 가지를 무작위로 드롭하여 classifier-free 지도를 적용한다.

실험 결과

연구 질문

• RQ1 계층별 컨디셔닝이 확산 기반 음성 향상에서 입력 수준 컨디셔닝보다 저하 정보를 더 효과적으로 전파할 수 있는가?
• RQ2 다중 작업 저하 인코더가 단일 작업이나 비 인코더 베이스라인과 비교하여 합성 저하(노이즈+잔향+왜곡)에 대한 강건성을 향상시키는가?
• RQ3 제안된 컨디셔닝 방식이 현실 세계의 실제 녹음에 얼마나 잘 일반화되는가?

주요 결과

• 계층별 컨디셔닝은 입력 수준 컨디셔닝 및 인코더 없는 베이스라인에 비해 다중 저하 데이터에서 성능을 크게 향상시킨다.
• 다중 저하 데이터에서 계층별 주입으로 ESTOI가 0.80, SI-SDR이 3.7 dB로 향상되어 다른 설정을 능가했다.
• 다중 작업 보조 손실을 갖는 인코더가 잘 보정된 저하 표현을 산출한다(노이즈 정확도 96.7%, T60 상관 0.981, 왜곡 상관 0.845).
• 노이즈만 데이터에서 SLICE가 베이스라인 중 최고 UTMOS를 달성하여 지각 품질이 강함을 시사한다.
• 현장 테스트에서 실제 데이터 세트와 경쟁력 있는 PESQ/ESTOI를 보였으며, SLICE와 비인코더 변형이 사전 학습된 노이즈 단독 베이스라인을 능가했다.