[논문 리뷰] Speech Enhancement in Adverse Environments Based on Non-stationary Noise-driven Spectral Subtraction and SNR-dependent Phase Compensation

Tauhidul Islam, Asaduzzaman Asaduzzaman외 3명|arXiv (Cornell University)|2018. 02. 19.

Speech and Audio Processing참고 문헌 22인용 수 3

한 줄 요약

이 논문은 비정상적인 잡음 환경을 위한 이단계 스피치 업그레이드 방법을 제안하며, 비정상적인 잡음 기반 스펙트럼 제거와 신호대잡음비(SNR)-의존적 위상 보정을 조합한다. 저주파 성분을 활용해 정확한 잡음 추정을 하고, SNR에 따라 위상 보정을 동적으로 조정함으로써, 스피치 품질과 명료도를 향상시켜 NOIZEUS 데이터베이스에서 기존 방법에 비해 유의미한 PESQ 및 STOI 향상을 달성한다.

ABSTRACT

A two-step enhancement method based on spectral subtraction and phase spectrum compensation is presented in this paper for noisy speeches in adverse environments involving non-stationary noise and medium to low levels of SNR. The magnitude of the noisy speech spectrum is modified in the first step of the proposed method by a spectral subtraction approach, where a new noise estimation method based on the low frequency information of the noisy speech is introduced. We argue that this method of noise estimation is capable of estimating the non-stationary noise accurately. The phase spectrum of the noisy speech is modified in the second step consisting of phase spectrum compensation, where an SNR-dependent approach is incorporated to determine the amount of compensation to be imposed on the phase spectrum. A modified complex spectrum is obtained by aggregating the magnitude from the spectral subtraction step and modified phase spectrum from the phase compensation step, which is found to be a better representation of enhanced speech spectrum. Speech files available in the NOIZEUS database are used to carry extensive simulations for evaluation of the proposed method.

연구 동기 및 목표

• 비정상적인 잡음과 낮은에서 중간 수준의 신호대잡음비(SNR)에서의 스피치 품질 저하 문제를 해결하기 위해.
• 기존 방법이 실패하는 비정상적인 조건에서의 잡음 추정 정확도를 향상시키기 위해.
• 신호대잡음비(SNR)-의존적 보정을 통해 위상 스펙트럼을 정교화하여 스피치 품질을 향상시키기 위해.
• 기존의 스펙트럼 제거 및 위상 보정 기법들을 능가하는 강건한 업그레이드 프레임워크를 개발하기 위해.

제안 방법

• 저주파 성분을 활용해 비정상적인 잡음을 더 정확하게 추적할 수 있는 새로운 잡음 추정 방법을 도입한다.
• 첫 번째 단계에서 추정된 잡음 파wer 스펙트럼을 사용해 노이즈가 섞인 음성의 세기 스펙트럼에 스펙트럼 제거를 적용한다.
• 두 번째 단계에서 입력 신호대잡음비(SNR) 수준에 따라 조절되는 위상 보정 함수를 사용해 위상 스펙트럼을 보정한다.
• 스펙트럼 제거에서 처리된 세기와 보정된 위상을 조합하여 수정된 복소 스펙트럼을 재구성한다.
• 신호대잡음비(SNR)-의존적 위상 보정 함수는 입력 신호대잡음비(SNR) 수준에 따라 보정 양을 조절하여 잡음의 발생을 최소화한다.
• 다양한 잡음 조건에서 NOIZEUS 데이터베이스의 음성 파일을 사용해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 노이즈가 섞인 음성 스펙트럼의 저주파 성분이 실시간 응용에서 비정상적인 잡음 추정 정확도를 향상시킬 수 있는가?
• RQ2 신호대잡음비(SNR)-의존적 위상 보정이 낮은 신호대잡음비(SNR) 환경에서 스피치 품질과 명료도에 어떤 영향을 미치는가?
• RQ3 비정상적인 잡음 기반 스펙트럼 제거와 적응형 위상 보정을 조합하면 기존 방법보다 더 나은 청취적 품질을 제공하는가?
• RQ4 제안된 방법이 향상된 음성에서 음악 잡음과 위상 왜곡을 어느 정도 감소시키는가?

주요 결과

• 제안된 방법은 기준 스펙트럼 제거 대비 평균 0.35~0.55점의 PESQ(청각적 음성 품질 평가) 향상을 달성하여 유의미한 향상을 보였다.
• STOI(단기 객관적 명료도) 점수는 0.06~0.11점 향상되어, 잡음 환경에서의 스피치 명료도 향상이 확인되었다.
• 신호대잡음비(SNR)-의존적 위상 보정이 특히 낮은 신호대잡음비(SNR) 상황에서 위상 왜곡을 효과적으로 감소시켜 더 자연스러운 음성 재현을 가능하게 하였다.
• 저주파 기반의 잡음 추정 방법은 기존의 에너지 기반 추정기법에 비해 비정상적인 잡음을 더 우수하게 추적하는 것으로 나타났다.
• NOIZEUS 데이터베이스에서의 객관적 및 주관적 평가에서 기존의 스펙트럼 제거 및 위상 보정 기법들을 능가하는 성능을 보였다.
• 정확한 잡음 추정과 적응형 위상 보정의 조합은 음악 잡음 감소와 함께 전체적인 스피치 품질 향상을 이끌어냈다.