[논문 리뷰] A Hybrid DSP/Deep Learning Approach to Real-Time Full-Band Speech Enhancement

Jean-Marc Valin|arXiv (Cornell University)|2017. 09. 24.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 48 kHz 전체 대역에서 실시간으로 작동하는 하이브리드 디지털 신호 처리(DSP)/딥러닝 접근법을 제안한다. 이 방법은 22개의 베르크 스케일 대역에 대해 이상적인 크리티컬 밴드 이득(ICBG)을 추정하기 위해 4층의 순환 신경망(RNN)을 사용하며, 조화성 간의 잡음을 억제하기 위해 피치 콤 필터를 함께 적용한다. 기존의 MMSE 기반 방법보다 훨씬 높은 음성 품질을 달성하면서도 실시간 구동에 적합한 저전력 CPU에서의 낮은 계산 복잡도를 유지한다.

ABSTRACT

Despite noise suppression being a mature area in signal processing, it remains highly dependent on fine tuning of estimator algorithms and parameters. In this paper, we demonstrate a hybrid DSP/deep learning approach to noise suppression. A deep neural network with four hidden layers is used to estimate ideal critical band gains, while a more traditional pitch filter attenuates noise between pitch harmonics. The approach achieves significantly higher quality than a traditional minimum mean squared error spectral estimator, while keeping the complexity low enough for real-time operation at 48 kHz on a low-power processor.

연구 동기 및 목표

• 기존의 노이즈 억제 알고리즘을 조정하는 데 지속적으로 어려움을 겪는 문제를 해결하기 위해, 노이즈 전력과 스펙트럼 이득을 추정하는 데 복잡하고 수작업으로 조정된 추정기법에 의존하는 것.
• 전체 대역 음성 향상에서 계산 복잡도를 줄이면서도 실시간 응용(예: 비디오 회의)에 적합한 높은 품질의 출력을 유지하기 위해 노력하기.
• 기존의 DSP 기법의 강건성과 딥러닝의 적응형 학습 능력을 융합하여 수작업으로 조정하기 어려운 구성 요소에 집중하기.
• 고성능 하드웨어가 필요 없이도 기존의 MMSE 기반 방법보다 라이트웨이트 딥러닝 모델이 음성 품질을 크게 향상시킬 수 있음을 입증하기.

제안 방법

• 22개의 베르크 스케일 대역에 대해 이상적인 크리티컬 밴드 이득(ICBG)을 추정하기 위해 4층의 순환 신경망(RNN)을 사용하며, 출력은 0에서 1 사이로 제한되어 있어 고차원 스펙트럼 추정의 필요성을 줄인다.
• 신경망은 20 ms 프레임을 50% 겹침으로써 Vorbis 윈도우를 사용하여 처리하며, 이 윈도우는 정확한 재구성을 위한 Princen-Bradley 기준을 만족한다.
• 각 대역의 이득은 삼각형 대역 가중치를 사용한 가중 평균 보간을 통해 주파수 빈에 걸쳐 적용되어 부드러운 스펙트럼 형상 조절을 보장한다.
• 피치 콤 필터는 주파수 도메인에서 대역별 계수를 사용하여 주기성 추정 기반으로 조화성 간의 잡음을 억제하기 위해 적용된다.
• 과도한 건조 현상을 방지하고 자연스러운 리버브를 유지하기 위해 감쇠 인자 λ=0.6를 사용한 재귀 필터를 통해 이득 스무딩을 적용한다.
• 모델은 ICBG 추정을 위한 평균 제곱오차와 음성 활성도 검출(VAD)을 위한 교차 엔트로피를 조합하여 훈련하며, 저에너지 프레임에는 마스크된 손실을 적용한다.

실험 결과

연구 질문

• RQ1 라이트웨이트 딥러닝 모델이 전통적인 노이즈 억제 파이프라인에서 조정하기 가장 어려운 구성 요소를 효과적으로 대체할 수 있는가?
• RQ2 저해상도 딥러닝 이득 추정기와 피치 기반 필터를 조합하면 기존의 MMSE 기반 스펙트럼 추정기보다 전체 대역 음성 향상에서 더 나은 성능을 내는가?
• RQ3 이러한 하이브리드 시스템은 저전력 CPU에서 실시간으로 작동할 수 있는 낮은 계산 복잡도로 높은 품질의 음성 향상을 달성할 수 있는가?
• RQ4 비정상적인 노이즈 유형에 대해 기존의 DSP 전용 접근법에 비해 제안된 방법이 얼마나 음성 품질을 향상시키는가?

주요 결과

• 제안된 방법은 SpeexDSP의 MMSE 기반 노이즈 억제기보다 뚜렷이 높은 음성 품질을 달성하며, 배블, 자동차, 거리 노이즈 조건에서 PESQ MOS-LQO 점수로 확인되었다.
• 시스템은 저전력 CPU에서 48 kHz로 실시간으로 작동하며, x86 코어 하나의 1.3% (Haswell i7-4800MQ)와 Raspberry Pi 3의 ARM Cortex-A53 코어의 14%만을 소비한다.
• 총 계산 복잡도는 약 40 Mflops이며, 전체 대역 음성 코더 수준과 유사하며, 모델의 87,503개 가중치는 성능 손실 없이 8비트로 정량화할 수 있다.
• 감쇠 인자 λ=0.6를 사용한 이득 스무딩은 출력의 과도한 건조를 효과적으로 방지하며, 135 ms의 효과적 감쇠 시간을 유지하여 자연스러운 리버브를 보존한다.
• 입력 특징에 원격 신호 특성 정보를 추가함으로써 잔류 에코 억제 및 마이크로폰 어레이 후처리 필터링으로의 확장이 가능하다.