[논문 리뷰] Multi-Domain Processing via Hybrid Denoising Networks for Speech Enhancement

Jang-Hyun Kim, Jaejun Yoo외 3명|arXiv (Cornell University)|2018. 12. 21.

Speech and Audio Processing참고 문헌 10인용 수 29

한 줄 요약

이 논문은 원시 음성(시간 도메인)과 스펙트로그램(시간-주파수 도메인) 표현을 계단식 다중 경로 아키텍처와 보조 손실을 통해 공동으로 활용하는 하이브리드 음성 정화 프레임워크 MDPhD을 제안한다. TasNet(시간 정밀도 향상)과 U-Net(주파수 해상도 향상)의 장점을 조합함으로써, 특히 혼합 노이즈 상황에서 다양한 노이즈 유형에 걸쳐 최신 기술(SOTA) 수준의 성능을 달성하며, PESQ, SSNR 및 주관적 품질 점수를 포함한 여러 지표에서 개별 모델과 이전 SOTA 방법을 능가한다.

ABSTRACT

We present a hybrid framework that leverages the trade-off between temporal and frequency precision in audio representations to improve the performance of speech enhancement task. We first show that conventional approaches using specific representations such as raw-audio and spectrograms are each effective at targeting different types of noise. By integrating both approaches, our model can learn multi-scale and multi-domain features, effectively removing noise existing on different regions on the time-frequency space in a complementary way. Experimental results show that the proposed hybrid model yields better performance and robustness than using each model individually.

연구 동기 및 목표

• 기존 음성 정화 모델이 원시 음성 또는 스펙트로그램 중 하나의 음성 표현에 의존함에 따라 특정 노이즈 유형에서만 우수한 성능을 내는 한계를 해결하기 위해.
• 시간 도메인과 시간-주파수 도메인 표현을 조합함으로써 보완적인 다중 척도 특징 학습이 가능하고, 더 높은 강인성과 성능 향상이 이루어지는지 조사하기 위해.
• 두 표현을 계단식 다중 경로 학습 전략과 보조 감독을 통해 통합하는 일반화 가능한 하이브리드 프레임워크를 개발하기 위해.
• 하이브리드 모델이 여러 객관적 및 주관적 지표에서 개별 모델과 최신 기술(SOTA) 기준 모델을 능가하는지 증명하기 위해.

제안 방법

• 모델은 두 개의 병렬 경로로 구성된 하이브리드 아키텍처를 사용한다: 원시 음성 처리를 위한 TasNet(1차원 확장 컨볼루션) 기반 경로와 스펙트로그램 처리를 위한 U-Net(2차원 컨볼루션) 기반 경로.
• 두 경로는 계단식으로 연결되며, 각 경로의 중간 출력에 보조 손실이 적용되어 기여도가 균형을 이루도록 한다.
• 학습 중에는 두 경로의 순서를 번갈아가며 전환함(예: U→D 및 D→U)으로, 한 경로가 다른 경로의 처리 이전에 전체 입력 정보에 접근할 수 있도록 한다.
• 추론 시에는 두 경로의 출력을 평균하여 최종 정화된 웨이브폼을 생성한다.
• 목적 함수는 음성과 추정된 노이즈에 대한 L1 손실을 조합한다: L = ||s - ŝ||₁ + ||n - ŝ̂||₁, 여기서 ŝ̂ = x - ŝ.
• 시간-주파수 표현은 STFT를 통해 확보되며, 최종 웨이브폼은 iSTFT를 사용해 재구성된다.

실험 결과

연구 질문

• RQ1 원시 음성 또는 스펙트로그램 중 하나의 음성 표현을 사용할 경우, 모델의 다양한 노이즈 유형에 대한 일반화 능력이 제한되는가?
• RQ2 시간 도메인과 시간-주파수 도메인 표현을 조합하면 보완적인 특징 학습이 가능하고, 더 나은 노이즈 제거 성능이 달성되는가?
• RQ3 처리 경로의 순서가 모델 성능에 영향을 미치는가? 그리고 번갈아 학습 전략이 정보 손실을 완화할 수 있는가?
• RQ4 하이브리드 프레임워크가 여러 객관적 및 주관적 지표에서 최신 기술(SOTA) 모델을 능가하는가?

주요 결과

• MDPhD는 테스트 세트에서 최고의 PESQ 점수 2.70과 SSNR 10.22 dB를 기록하며, TasNet(3M)과 U-Net(3M)을 포함한 모든 기준 모델을 능가했다.
• 혼합 바블 노이즈 및 고주파수 노이즈(SNR 5 dB) 조건에서 MDPhD는 PESQ 2.70과 SSNR 10.22를 기록했으며, 이는 다음으로 우수한 모델인 MMSE-GAN보다 PESQ 0.17점, SSNR 0.58 dB 높은 성능을 보였다.
• 하이브리드 모델은 CSIG 점수 3.85, CBAK 3.39, COVL 3.27를 기록했으며, 테스트된 모든 방법 중에서 최고 수준이었다.
• 원시 음성 모델(TasNet)은 바블 노이즈에서 최고 성능을 보였으며(SNR 16.83 dB, 10 dB SNR), 반면 스펙트로그램 모델(U-Net)은 고주파수 노이즈에서 뛰어난 성능을 보였다(SNR 20.68 dB), 이는 도메인 특화의 확인이다.
• 단일 경로(예: U→D 또는 D→U)로만 학습할 경우, 성능은 첫 번째 경로의 특성에 따라 결정되었으며, 이는 두 번째 경로의 정보 손실이 있음을 시사한다.
• 제거 실험 결과, 두 표현 간의 보완성은 손실 함수의 선택에 의존하지 않고, 오히려 아키텍처 통합에 의해 결정됨을 확인했다.