[논문 리뷰] Components Loss for Neural Networks in Mask-Based Speech Enhancement

Ziyi Xu, Samy Elshamy외 2명|arXiv (Cornell University)|2019. 08. 14.

Speech and Audio Processing참고 문헌 41인용 수 6

한 줄 요약

이 논문은 마스크 기반 음성 강화에서 신경망을 훈련시키기 위한 새로운 구성 요소 손실(Components Loss, CL)을 제안하며, 음성 품질, 잡음 억제, 자연스러운 잔여 잡음에 대해 별도 최적화를 가능하게 한다. CL은 MSE, PESQ, STOI와 같은 표준 손실 함수보다 우수한 성능을 보이며, 볼 수 있는 잡음 유형에 대해 최소 0.1점의 PESQ 향상과 0.5 dB 이상의 SNR 향상을 기록한다. 볼 수 없는 잡음 유형에 대해서는 더욱 높은 성능 향상을 보인다.

ABSTRACT

Estimating time-frequency domain masks for single-channel speech enhancement using deep learning methods has recently become a popular research field with promising results. In this paper, we propose a novel components loss (CL) for the training of neural networks for mask-based speech enhancement. During the training process, the proposed CL offers separate control over preservation of the speech component quality, suppression of the residual noise component, and preservation of a naturally sounding residual noise component. We illustrate the potential of the proposed CL by evaluating a standard convolutional neural network (CNN) for mask-based speech enhancement. The new CL obtains a better and more balanced performance in almost all employed instrumental quality metrics over the baseline losses, the latter comprising the conventional mean squared error (MSE) loss and also auditory-related loss functions, such as the perceptual evaluation of speech quality (PESQ) loss and the recently proposed perceptual weighting filter loss. Particularly, applying the CL offers better speech component quality, better overall enhanced speech perceptual quality, as well as a more naturally sounding residual noise. On average, an at least 0.1 points higher PESQ score on the enhanced speech is obtained while also obtaining a higher SNR improvement by more than 0.5 dB, for seen noise types. This improvement is stronger for unseen noise types, where an about 0.2 points higher PESQ score on the enhanced speech is obtained, while also the output SNR is ahead by more than 0.5 dB. The new proposed CL is easy to implement and code is provided at https://github.com/ifnspaml/Components-Loss.

연구 동기 및 목표

• MSE, PESQ, STOI와 같은 표준 손실 함수가 청각적 음성 품질과 잔여 잡음 특성 최적화에 한계를 보이는 문제를 해결한다.
• MSE 훈련으로 인해 저SNR 조건에서 음성 성분이 억제되는 '음소거 효과'를 해결한다.
• 세 가지 핵심 구성 요소인 음성 성분 품질, 잔여 잡음 억제, 잔여 잡음의 청각적 자연스러움에 대해 독립적인 제어를 가능하게 한다.
• 청각적 품질을 손상시키지 않고도 도구적 평가 지표 성능을 향상시키며, 비자연스러운 아티팩트를 유발하지 않는다.
• 기존 딥러닝 프레임워크에 쉽게 통합할 수 있는 단순하고 모듈러한 손실 함수를 제공한다.

제안 방법

• 음성 품질, 잡음 억제, 잔여 잡음 자연스러움의 세 가지 별개의 구성 요소로 훈련 목표를 분해하는 새로운 손실 함수인 구성 요소 손실(Components Loss, CL)을 제안한다.
• 각 구성 요소에 대해 별도의 손실 항목을 정의한다: 음성 영역에서의 왜곡 최소화를 위한 음성 세부 정보 유지, 잔여 잡음 에너지 억제를 위한 항목, 청각 가중 모델을 활용한 청각적으로 자연스러운 잔여 잡음 확보를 위한 항목.
• 학습 중 트레이드오프를 균형 잡기 위해 학습 가능한 또는 고정된 가중 계수를 사용해 세 구성 요소를 통합된 손실 함수로 통합한다.
• 노이즈가 섞인 스펙트로그램에서 시간-주파수 마스크를 예측하는 표준 CNN 아키텍처에 CL을 적용한다.
• 청각 평가 지표(예: STOI, PESQ)의 미분 가능한 근사치를 사용해 기울기 기반 최적화를 보장하면서도 완전한 미분 가능성을 유지한다.
• 훈련 안정성을 높이기 위해 CL과 작은 MSE 항목의 조합을 사용하지만, 주요 최적화는 구성 요소별 목표에 의해 이뤄진다.

실험 결과

연구 질문

• RQ1 음성 품질, 잡음 억제, 잔여 잡음 자연스러움을 별도로 최적화하는 손실 함수가 종합적인 음성 강화 성능을 향상시킬 수 있는가?
• RQ2 제안된 구성 요소 손실(CL)은 저SNR 조건에서 관찰되는 MSE 훈련 모델의 음소거 효과를 줄일 수 있는가?
• RQ3 PESQ와 SNR 향상 측면에서 CL은 PESQ와 STOI와 같은 최첨단 청각 손실 함수와 비교해 어떻게 성능을 내는가?
• RQ4 학습 데이터에 포함되지 않은 새로운 잡음 유형에 대해 CL의 일반화 능력은 어느 정도인가?
• RQ5 CL은 기존의 딥러닝 파ip라인에 쉽게 구현하고 통합할 수 있는가?

주요 결과

• CL은 볼 수 있는 잡음 유형에 대해 기준 손실 함수 대비 향상된 음성에 대해 최소 0.1점의 PESQ 향상을 기록한다.
• CL은 볼 수 있는 잡음 유형에 대해 출력 SNR을 0.5 dB 이상 향상시키며, 더 나은 잡음 억제와 신호 유지 능력을 보여준다.
• 볼 수 없는 잡음 유형에 대해서는 PESQ 향상이 약 0.2점으로 증가하여 뛰어난 일반화 능력을 입증한다.
• 볼 수 없는 잡음 유형에 대해서도 SNR 향상이 0.5 dB를 초과하여 다양한 잡음 조건에서의 강건성을 확인한다.
• CL은 청각적 품질 향상과 비자연스러운 아티팩트 감소를 통해 더 자연스러운 잔여 잡음 생성을 유도한다.
• 이 방법은 구현이 단순하며 오픈소스로 공개되어 있어 연구 공동체에서의 채택과 재현 가능성을 높였다. GitHub에서 코드를 제공한다.