[논문 리뷰] Listening to Sounds of Silence for Speech Denoising

Ruilin Xu, Rundi Wu외 3명|arXiv (Cornell University)|2020. 10. 22.

Speech and Audio Processing참고 문헌 102인용 수 23

한 줄 요약

이 논문은 단일 채널 음성 신호에서 천연적으로 발생하는 침묵 간격—단어 또는 문장 간의 정지 시간—을 활용하여 시간에 따라 변하는 잡음 특성을 학습하는 딥러닝 모델을 제안한다. 이러한 침묵 세그먼트를 탐지함으로써 모델는 동적으로 변화하는 잡음 프로파일을 추정하고, 이를 통해 노이즈가 섞인 음성에서 잡음을 억제한다. 다양한 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하며, 예측되지 않은 언어와 실제 환경의 녹음 자료에 대해서도 강력한 일반화 능력을 보이며, 최대 33.34 dB의 잡음 감소를 달성한다.

ABSTRACT

We introduce a deep learning model for speech denoising, a long-standing challenge in audio analysis arising in numerous applications. Our approach is based on a key observation about human speech: there is often a short pause between each sentence or word. In a recorded speech signal, those pauses introduce a series of time periods during which only noise is present. We leverage these incidental silent intervals to learn a model for automatic speech denoising given only mono-channel audio. Detected silent intervals over time expose not just pure noise but its time-varying features, allowing the model to learn noise dynamics and suppress it from the speech signal. Experiments on multiple datasets confirm the pivotal role of silent interval detection for speech denoising, and our method outperforms several state-of-the-art denoising methods, including those that accept only audio input (like ours) and those that denoise based on audiovisual input (and hence require more information). We also show that our method enjoys excellent generalization properties, such as denoising spoken languages not seen during training.

연구 동기 및 목표

• 단일 채널 음성 신호만을 사용하여 소음 환경에서 음성 정화 문제를 해결하고자 한다.
• 수동으로 침묵 간격을 선택해야 하는 기존 방법(예: 스펙트럼 감소)의 한계를 극복하고, 비정상적인 잡음 조건에서 실패하는 문제를 해결하고자 한다.
• 천연 음성 정지 시간을 활용하여 잡음 추정 및 억제를 수행하는 완전 자동화된 엔드 투 엔드 딥러닝 모델을 개발하고자 한다.
• 청취 가능한 언어와 실제 환경의 음성 시나리오에 대한 일반화 능력을 향상시키기 위해 시각 정보 입력이 필요로 하지 않도록 하고자 한다.
• 침묵 간격 탐지가 효과적인 음성 정화에 핵심적임을 입증하고자 하며, 영상 입력을 사용하는 방법을 뛰어넘는 성능을 달성하고자 한다.

제안 방법

• 모델는 세 가지 구성 요소로 이루어져 있다: 음성 신호 내 정지 시간을 식별하는 침묵 간격 탐지 헤드.
• 탐지된 침묵 간격을 활용하여 시간에 따라 변화하는 잡음 특징을 추론하는 잡음 추정 헤드로, 잡음 프로파일에 대한 인painting 과정으로 기능한다.
• 추정된 잡음을 적용하여 입력 음성 신호를 정화하는 정화 헤드.
• 학습 중에는 정제된 음성 참조가 필요 없이 침묵 간격을 통한 자기지도 학습(self-supervision)에 의존한다.
• 쌍체의 정제된-노이즈 신호가 필요로 하지 않으며, 영상 입력도 필요로 하지 않는, 원시 단일 채널 음성 신호에서 엔드 투 엔드로 훈련된다.
• 침묵 간격 탐지의 정확도는 거짓 양성(false positive)을 최소화하도록 최적화되며, 이는 음성 성분이 잡음 추정에 오염되어 정화 성능이 심각하게 악화되기 때문이다.

실험 결과

연구 질문

• RQ1 음성 내 천연적으로 발생하는 침묵 간격이 시간에 따라 변화하는 잡음 특성을 학습하는 데 효과적으로 활용될 수 있는가?
• RQ2 침묵 간격을 활용하는 딥러닝 모델이 최신 기술(SOTA) 수준의 오디오 전용 및 오디오-비디오 정화 방법을 초월하는가?
• RQ3 모델은 훈련 중에 볼 수 없었던 언어와 실제 환경의 음성 녹음 자료에 얼마나 잘 일반화되는가?
• RQ4 침묵 간격 탐지 오류, 특히 거짓 양성과 거짓 음성에 비해 정화 성능은 얼마나 민감한가?
• RQ5 합성 또는 제한된 데이터로 훈련된 모델이 다양한 실제 소음 환경에 효과적으로 일반화되는가?

주요 결과

• 모델는 자체 AVSPEECH+Audioset 데이터셋으로 훈련한 후 VoiceBank-DEMAND 테스트 세트에서 PESQ 점수 3.16을 기록하며, 동일한 데이터셋에 대해 파인튜닝된 베이스라인 모델을 능가한다.
• 다른 데이터셋으로의 일반화 성능에서는 성능 저하가 거의 없었으며, 예를 들어 AD에서 훈련하고 AA에서 테스트할 경우 PESQ 점수는 2.30에서 2.12로 약간 감소하여 강력한 일반화 능력을 입증한다.
• 실제 환경 녹음 자료에서, 저자들이 제작한 AVSPEECH+Audioset 데이터셋으로 훈련된 모델는 평균 22.27 dB의 잡음 감소를 달성했으며, 이는 VoiceBank-DEMAND로 훈련된 모델(12.60 dB)보다 뚜렷이 뛰어난 성능이다.
• 스페인 노래 번역에서 최대 33.34 dB의 잡음 감소를 기록하여, 복잡하고 비정상적인 잡음 환경에서 매우 효과적임을 입증한다.
• 침묵 간격 탐지에서의 거짓 양성 예측은 거짓 음성 예측보다 정화 품질 저하에 더 심각한 영향을 미치며, 잡음 추정이 음성 성분에 오염될 경우 민감도가 높음을 시사한다.
• 모든 평가 지표(PESQ, STOI, CSIG, CBAK, COVL)에서 오디오 전용 및 오디오-비디오 최신 기술(SOTA) 방법을 모두 능가하며, 강한 노이즈 조건 하에서도 뛰어난 성능을 보였다.