[논문 리뷰] Speech Enhancement and Dereverberation with Diffusion-based Generative Models

Julius Richter, Simon Welker외 3명|arXiv (Cornell University)|2022. 08. 11.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 소음이 있는 음성과 소음을 함께 조건으로 삼아 역방향 확산 과정을 조절하는 확산 기반 생성 모델을 제안한다. 이는 단지 30단계 내로 고품질의 청소된 음성 생성을 가능하게 하며, 시뮬레이션된 데이터와 실제 데이터 모두에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 일반화 능력과 청취 품질 면에서 판별 모델을 능가하며, 추가 소음 억제를 넘어서 리버버브 제거에도 효과적으로 확장된다.

ABSTRACT

In this work, we build upon our previous publication and use diffusion-based generative models for speech enhancement. We present a detailed overview of the diffusion process that is based on a stochastic differential equation and delve into an extensive theoretical examination of its implications. Opposed to usual conditional generation tasks, we do not start the reverse process from pure Gaussian noise but from a mixture of noisy speech and Gaussian noise. This matches our forward process which moves from clean speech to noisy speech by including a drift term. We show that this procedure enables using only 30 diffusion steps to generate high-quality clean speech estimates. By adapting the network architecture, we are able to significantly improve the speech enhancement performance, indicating that the network, rather than the formalism, was the main limitation of our original approach. In an extensive cross-dataset evaluation, we show that the improved method can compete with recent discriminative models and achieves better generalization when evaluating on a different corpus than used for training. We complement the results with an instrumental evaluation using real-world noisy recordings and a listening experiment, in which our proposed method is rated best. Examining different sampler configurations for solving the reverse process allows us to balance the performance and computational speed of the proposed method. Moreover, we show that the proposed method is also suitable for dereverberation and thus not limited to additive background noise removal. Code and audio examples are available online, see https://github.com/sp-uhh/sgmse.

연구 동기 및 목표

• 청소음 모델의 성능을 뛰어넘기 위해 청소된 음성에 대한 사전 분포를 학습하는 생성 모델을 개발하는 것.
• 이전의 확산 모델이 순수한 소음을 기반으로 시작하는 한계를 해결하기 위해, 역방향 과정을 소음이 있는 음성과 소음을 함께 조건으로 삼는 것.
• 특히 실제 소음 기록에서의 조건 불일치 상황에서도 일반화 능력을 향상시키는 것.
• 추가 소음 억제를 넘어서 음성 리버버브 제거에도 이 프레임워크를 효과적으로 확장하는 것.
• 실제 데이터에서의 기술적 평가 지표와 听력 테스트를 통해 방법의 성능을 평가하는 것.

제안 방법

• 청소음 음성의 복소수 단기 푸리에 변환(STFT) 표현에 대해 점수 매칭을 통해 훈련된 점수 기반 생성 모델을 사용한다.
• 전방 과정을 위해 확산 미분 방정식(SDE)을 활용하며, 점진적으로 소음을 추가하고 리버버브를 모델링하는 드리프트 항을 포함한다.
• 순수한 소음이 아니라 소음이 있는 음성과 가우시안 소음을 혼합한 입력을 조건으로 삼아 역방향 과정을 조건화한다. 이는 전방 과정과 일치시킨다.
• 모델링 능력과 성능 향상을 위해 잔차 블록과 어텐션 메커니즘을 통합한 U-Net 아키텍처를 적용한다.
• 훈련 안정성을 높이기 위해 분산 증폭(VE) SDE 설정을 사용한 디노이징 점수 매칭 목적함수를 적용한다.
• 수치적 해법(예: 오일러-마르야마)을 사용한 반복적 샘플링을 통해 소음이 있는 입력에서 청소된 음성 추정치를 생성한다.

실험 결과

연구 질문

• RQ1 소음이 있는 음성을 조건으로 삼는 확산 기반 생성 모델이, 일치 및 불일치 조건에서 판별 모델보다 우수한 성능을 내는가?
• RQ2 소음이 있는 음성과 소음을 함께 조건으로 삼아 역방향 확산 과정을 조건화하면 샘플 품질이 향상되고 필요한 단계 수가 감소하는가?
• RQ3 동일한 프레임워크가 추가 소음 억제를 넘어서 리버버브 제거에도 효과적으로 적용될 수 있는가?
• RQ4 청소음 기준이 없는 실제 비시뮬레이션 소음 기록에서 이 방법의 성능은 어떠한가?
• RQ5 역방향 과정에서 함수 평가 횟수(NFE)를 변화시킬 경우, 샘플링 속도와 음성 품질 사이의 상충 관계는 어떠한가?

주요 결과

• 실제 데이터에서 DNS 챌린지 2020 테스트 세트의 실제 소음 기록에 대해 DNSMOS 점수 3.64를 기록하며, MetricGAN+와 Conv-TasNet을 포함한 모든 베이스라인을 능가했다.
• 훈련은 VB-DMD에서 이루어졌고, 테스트는 DNS에서 수행된 조건 불일치 상황에서, 이 모델은 SDR 13.4 dB와 ESTOI 0.82를 기록하여 모든 판별 및 생성 기반 베이스라인을 능가했다.
• 고품질 출력을 유지하면서도 확산 단계를 30단계로 줄였으며, GPU에서 실시간 요소(RTF)는 0.12였다.
• MC-WSJ-AV 데이터셋에서 리버버브 제거에 대해 PESQ 3.21과 SDR 11.8 dB를 기록하며, 판별 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 청취 실험에서 인간 평가자들이 이 방법을 가장 높게 평가했으며, 평균 의견 점수(MOS)는 5점 만점에 4.25점이었다.
• 실제 소음에 대해 이 방법은 비침습적 지표인 SIG(3.42)와 BAK(3.82)를 혼합물 대비 향상시켰고, 반면 판별 모델은 SIG에서 성능이 저하되었다.