[논문 리뷰] RNNoise-Ex: Hybrid Speech Enhancement System based on RNN and Spectral Features

Constantine C. Doumanidis, Christina Anagnostou외 2명|arXiv (Cornell University)|2021. 05. 25.

Speech and Audio Processing참고 문헌 18인용 수 6

한 줄 요약

이 논문은 RNN 기반 마스크 추정 과정에 스펙트럼 기울기와 스펙트럼 플럭스와 같은 추가 스펙트럼 특징을 통합하여 RNNoise 프레임워크를 확장한 하이브리드 음성 향상 시스템인 RNNoise-Ex를 제안한다. 비록 특징 공학 및 동일한 하이퍼파라미터로 훈련했음에도 불구하고, 모든 신호대잡음비(SNR) 수준과 음향 환경에서 기준 RNNoise보다 성능이 열 劣하나, 특히 고SNR 조건에서 두드러지게 나타나, 현재 데이터셋 크기에서는 추가 특징이 성능 향상에 기여하지 못했음을 시사한다.

ABSTRACT

Recent interest in exploiting Deep Learning techniques for Noise Suppression, has led to the creation of Hybrid Denoising Systems that combine classic Signal Processing with Deep Learning. In this paper, we concentrated our efforts on extending the RNNoise denoising system (arXiv:1709.08243) with the inclusion of complementary features during the training phase. We present a comprehensive explanation of the set-up process of a modified system and present the comparative results derived from a performance evaluation analysis, using a reference version of RNNoise as control.

연구 동기 및 목표

• RNN 훈련 중 추가 스펙트럼 특징을 통합하여 RNNoise 음성 향상 시스템의 성능을 향상시키는 것.
• 스펙트럼 기울기, 스펙트럼 플럭스, RMS와 같은 보완적 특징이 실시간 하이브리드 딥 러닝 시스템에서 노이즈 억제에 기여하는지 평가하는 것.
• 특징 공학이 비정적 및 준정적 노이즈 성분을 다룰 때 RNN 기반 음성 향상에 미치는 영향을 조사하는 것.
• 현재 하이브리드 시스템의 한계를 규명하고, 특징 통합 및 모델 아키텍처 향상에 대한 향후 방향을 제안하는 것.

제안 방법

• 시스템은 48 kHz에서 20 ms 음성 프레임을 50% 겹침으로써 처리하며, Vorbis 윈도우와 피치 컴 필터를 사용하여 조화 성분을 강화한다.
• 각 프레임에 대해 스펙트럼 기울기, 스펙트럼 플럭스, RMS 등의 스펙트럼 특징을 계산하고, 표준 22밴드 바르크 척도 크기 특징과 연결하여 RNN의 입력으로 사용한다.
• RNN은 22개의 삼각형 밴드를 기반으로 이상 비율 마스크(IRM)를 추정하며, 이는 각 프레임의 DFT 크기 값에 대해 보간 후 적용된다.
• 기본 주기 기반 피치 필터를 적용하여 조화 성분 간의 노이즈를 억제함으로써, 음성의 청취 품질을 향상시킨다.
• 손실 함수는 억제의 강성과 신호 정밀도의 균형을 맞추기 위해 감마 파라미터(γ = 1/2)를 사용하며, 기준 모델과 확장 모델 간 하이퍼파라미터를 동일하게 유지한다.
• 확장된 시스템은 기준 RNNoise 모델과 동일한 데이터셋과 훈련 프로토콜을 사용하여 훈련 및 평가되어 직접 비교가 가능하도록 구성되었다.

실험 결과

연구 질문

• RQ1 스펙트럼 기울기와 스펙트럼 플럭스와 같은 추가 스펙트럼 특징의 통합이 RNNoise 시스템의 음성 향상 성능을 향상시키는가?
• RQ2 다양한 SNR 수준과 음향 환경에서 확장된 RNNoise-Ex 시스템의 성능은 기준 RNNoise 모델과 어떻게 비교되는가?
• RQ3 서브밴드 특징을 통합하면 하이브리드 RNN 기반 시스템에서 더 나은 노이즈 억제와 향상된 청취 품질을 달성할 수 있는가?
• RQ4 입력 특징 차원이 증가했음에도 불구하고 확장된 시스템이 기준 모델보다 성능이 열 劣하는 이유는 무엇인가?
• RQ5 특징 분산과 이방성 분포가 RNN 기반 노이즈 제거에서 스펙트럼 특징의 효과성에 어떤 역할을 하는가?

주요 결과

• RNNoise-Ex 시스템은 모든 테스트 음향 환경과 SNR 수준에서 기준 RNNoise 모델보다 일관되게 열 劣했으며, 특히 고SNR 조건에서 두드러지게 나타났다.
• PESQ 품질 지표는 RNNoise-Ex에서 유의미한 성능 저하를 보였으며, 향상된 출력에서 음성 품질이 악화됨을 시사한다.
• STOI 이해 가능성 지표 역시 확장된 시스템에서 상당한 감소를 보였으며, 특히 고SNR 조건에서 음성 명료도가 떨어짐을 시사한다.
• ‘Living’ 시나리오에서는 저SNR 조건에서 두 시스템 간 성능이 유사했으며, 이는 가능한 맥락에 따라 유의미한 이점이 있음을 시사하지만, 전체적인 성능 저하를 상쇄하기에는 부족했다.
• spectrogram의 시각적 점검 결과, 확장된 시스템이 더 적은 노이즈 성분을 제거함을 확인하여, 억제 효율성이 떨어짐을 확인했다.
• RMS와 스펙트럼 평탄도와 같은 특징은 낮은 분산과 높은 이방성 값으로 인해 학습에 악영향을 미칠 수 있으므로 제외되었다.