[논문 리뷰] End-to-End Model for Speech Enhancement by Consistent Spectrogram Masking

Xingjian Du, Mengyao Zhu외 4명|arXiv (Cornell University)|2019. 01. 02.

Speech and Audio Processing참고 문헌 13인용 수 5

한 줄 요약

이 논문은 복소 스펙트로그램의 일관성 제약 조건을 강제하여 학습 수렴 속도를 향상시키고 잡음을 줄이는 새로운 엔드 투 엔드 음성 강화 방법인 일관성 있는 스펙트로그램 마스킹(CSM)을 제안한다. 유사 레이어를 통한 미분 가능 STFT 근사화를 통해 일관성 있는 스펙트로그램 공간에서 직접 최적화함으로써, 기존의 cRM 및 IRM 등의 마스킹 방법에 비해 더 빠른 수렴 속도와 뛰어난 음성 품질을 달성한다.

ABSTRACT

Recently, phase processing is attracting increasinginterest in speech enhancement community. Some researchersintegrate phase estimations module into speech enhancementmodels by using complex-valued short-time Fourier transform(STFT) spectrogram based training targets, e.g. Complex RatioMask (cRM) [1]. However, masking on spectrogram would violentits consistency constraints. In this work, we prove that theinconsistent problem enlarges the solution space of the speechenhancement model and causes unintended artifacts. ConsistencySpectrogram Masking (CSM) is proposed to estimate the complexspectrogram of a signal with the consistency constraint in asimple but not trivial way. The experiments comparing ourCSM based end-to-end model with other methods are conductedto confirm that the CSM accelerate the model training andhave significant improvements in speech quality. From ourexperimental results, we assured that our method could enha

연구 동기 및 목표

• 음성 강화에서 스펙트로그램의 일관성 문제로 인한 모델 수렴 저하와 잡음 유발 문제를 해결하기 위해.
• STFT 일관성 제약 조건을 유지하면서 복소 스펙트로그램 영역에서 위상과 진폭을 동시에 강화하기 위해.
• 일관성 있는 스펙트로그램 다양체에 최적화를 제한하여 모델 학습을 가속화하고 음성 품질을 향상시키기 위해.
• 새로운 유사 레이어를 통해 일관성 제약 조건을 딥 러닝 모델에 통합하는, 미분 가능하고 엔드 투 엔드 프레임워크를 개발하기 위해.

제안 방법

• 복소 스펙트로그램에 일관성 제약 조건을 강제하는 CSM를 제안하며, 이는 추정된 스펙트로그램이 유효한 타임도메인 신호의 STFT임을 보장함으로써 수행된다.
• STFT 및 ISTFT 연산을 모방하는 학습 가능한 컨볼루션 레이어인 '유사 레이어(Quasi-layers)'를 도입하여, 스펙트로그램 변환 과정을 통해 역전파가 가능하도록 한다.
• 일관성 있는 스펙트로그램 공간에서 직접 최적화되는 손실 함수를 유도하며, 일관성 부족으로 인한 해 공간의 팽창을 피한다.
• 입력 노이즈 스펙트로그램으로부터 다중 척도 특징을 추출하기 위해 풀 컨볼루션 네트워크(FCN)에 DenseNet 아키텍처를 사용한다.
• CSM 손실 함수를 복소 스펙트로그램의 실수부와 허수부를 동시에 최적화하는 데 적용하여, 출력이 ISTFT를 통해 재구성 가능하도록 보장한다.
• STFT/ISTFT 쌍의 미분 가능 근사화를 활용하여, 일관성 있는 스펙트로그램 제약 조건을 갖는 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스펙트로그램에 일관성 제약 조건을 강제하면 음성 강화 모델의 수렴 속도가 향상되는가?
• RQ2 일관성 있는 스펙트로그램 마스킹은 일관성 없는 위상 및 진폭 추정으로 인한 의도치 않은 잡음을 줄일 수 있는가?
• RQ3 CSM는 기존의 cRM 및 IRM에 비해 음성 품질과 학습 효율성 측면에서 어떻게 비교되는가?
• RQ4 CSM를 사용할 때 네트워크 아키텍처의 선택(예: FCN 대 DNN)이 성능에 어느 정도 영향을 미치는가?

주요 결과

• VCTK 데이터셋에서의 학습 곡선을 통해 CSM 기반 모델이 cRM 기반 모델보다 더 빠른 수렴 속도를 보였다.
• QL-FCN-CSM는 모든 SNR 조건에서 PESQ와 SNR 측면에서 QL-FCN-cRM 및 DNN 기반 모델을 모두 초월했으며, 특히 저SNR 환경에서 두드러진 성능을 보였다.
• -6 dB SNR에서 바블 노이즈 조건에서 QL-FCN-CSM는 PESQ 1.951을 기록했으며, DNN-cRM(1.914) 및 DNN-IRM(1.809)를 모두 앞섰다.
• 로드 노이즈 조건에서 -6 dB SNR에서 QL-FCN-CSM는 PESQ 2.995를 기록했으며, DNN-cRM(2.905) 및 DNN-IRM(2.853)를 초월했다.
• 바블, 카페, 공장, 도로 노이즈 등 다양한 노이즈 유형에서 일관된 성능을 유지하여 강건성을 입증했다.
• 일관성 있는 스펙트로그램 제약 조건은 시간 도메인 왜곡을 감소시켰으며, 그림 3의 웨이브폼 비교를 통해 시각적으로 확인되었다.