[논문 리뷰] Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement

Shuaishuai Ye, Xinhui Hu외 1명|arXiv (Cornell University)|2020. 08. 18.

Speech and Audio Processing참고 문헌 32인용 수 6

한 줄 요약

이 논문은 GAN 프레임워크 내에서 깊이 분리형 합성곱을 사용하는 시간적 확장 합성곱 신경망을 통합한 TDCGAN를 제안한다. 파rameter 수를 늘리지 않고 수용장역을 확장하고 SNR 기울기 페널티를 손실 정규화로 도입함으로써, TDCGAN는 512만 개의 파arameter로 구현된 상태에서 SEGAN 대비 19배 적은 파arameter를 사용하면서도 기존 GAN 기반 방법보다 더 높은 음성 품질과 SNR 성능을 달성하였다.

ABSTRACT

In this paper, in order to further deal with the performance degradation caused by ignoring the phase information in conventional speech enhancement systems, we proposed a temporal dilated convolutional generative adversarial network (TDCGAN) in the end-to-end based speech enhancement architecture. For the first time, we introduced the temporal dilated convolutional network with depthwise separable convolutions into the GAN structure so that the receptive field can be greatly increased without increasing the number of parameters. We also first explored the effect of signal-to-noise ratio (SNR) penalty item as regularization of the loss function of generator on improving the SNR of enhanced speech. The experimental results demonstrated that our proposed method outperformed the state-of-the-art end-to-end GAN-based speech enhancement. Moreover, compared with previous GAN-based methods, the proposed TDCGAN could greatly decreased the number of parameters. As expected, the work also demonstrated that the SNR penalty item as regularization was more effective than $L1$ on improving the SNR of enhanced speech.

연구 동기 및 목표

• 伝통적인 STFT 기반 방법에서 위상 정보를 忽略함으로써 발생하는 음성 향상 성능 저하 문제를 해결한다.
• 원시 파형을 직접 모델링함으로써 위상과 시간적 맥락을 유지하는 엔드 투 엔드 음성 향상 기술을 향상시킨다.
• 향상 품질을 유지하거나 향상시키면서 모델 복잡성과 파arameter 수를 감소시킨다.
• 생성자 손실에 SNR 페널티를 정규화 항으로 도입함으로써 증강된 음성의 SNR 향상을 위한 효과를 조사한다.
• 실제 음성 시스템에 구현 가능한 경량이면서 고성능인 GAN 기반 아키텍처를 개발한다.

제안 방법

• GAN의 생성자에 시간적 확장 합성곱 신경망(TDCN)과 깊이 분리형 합성곱 신경망(DSCN)을 통합하여 파arameter 수를 늘리지 않고도 수용장역을 확장한다.
• 노이즈가 섞인 파형에서 청청 파형으로 매핑하기 위해 인코더, 시간적 확장 합성곱 마스크 추정기(TDCME), 디코더로 구성된 생성자 아키텍처를 설계한다.
• SEGAN와 유사한 디스cr미네이터 아키텍처를 채택하여 1차원 합성곱과 인스턴스 정규화를 사용해 진짜 음성과 생성된 음성을 구분한다.
• 간소화된 제로 중심 기울기 페널티와 서로 다른 학습률을 가진 두 가지 시간 스케일 업데이트 규칙을 적용하여 학습 안정성을 높인다.
• 생성자 손실 함수에 신호 대 잡음비(SNR) 기울기 페널티를 정규화 항으로 도입하여 증강된 음성의 SNR 향상을 도모한다.
• 생성자가 청정 음성의 더 현실적인 분포를 학습하도록 유도하기 위해 와서슈스타인 거리(Wasserstein distance)를 적대적 손실 측정 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 깊이 분리형 합성곱을 사용하는 시간적 확장 합성곱은 파arameter 수를 늘리지 않고도 엔드 투 엔드 음성 향상에서 수용장역을 향상시킬 수 있는가?
• RQ2 생성자 손실에 SNR를 기울기 페널티로 도입할 경우 L1 정규화 대비 더 나은 SNR 성능을 달성할 수 있는가?
• RQ3 TDCGAN 모델은 PESQ, STOI, segSNR와 같은 객관적 지표에서 최신 기술인 GAN 기반 음성 향상 모델과 비교해 어떤가?
• RQ4 제안된 아키텍처는 향상 품질을 유지하거나 향상시키면서 얼마나 모델 크기를 줄일 수 있는가?
• RQ5 확장 합성곱과 SNR 정규화의 조합이 노이즈 환경에서 더 견고하고 청취자에게 자연스럽게 들리는 음성 향상 기능을 제공할 수 있는가?

주요 결과

• TDCGAN는 PESQ 점수 2.87을 기록하여 SEGAN(2.16), SERGAN*(2.51), CP-GAN(2.64)를 모두 초월하여 음성 품질 향상이 뚜렷하게 향상됨을 보였다.
• SNR 정규화를 적용한 TDCGAN는 segSNR 9.97 dB를 달성하여 L1 정규화 버전(9.82 dB)과 모든 기준 모델을 능가했으며, SNR 페널티의 효과를 입증했다.
• TDCGAN는 학습 가능한 파arameter 수를 512만 개로 줄여 SEGAN(9747만 개) 대비 19배, SERGAN(8224만 개) 대비 16배, CP-GAN(추정 >2600만 개) 대비 5배 감소시켰다.
• SNR 페널티 정규화가 L1 정규화보다 segSNR 향상에 더 효과적으로 기여하여, SNR 향상 측면에서의 우수성을 확인했다.
• TDCGAN는 STOI 0.945, Csing 4.17, Cbak 3.46, Covl 3.53를 기록하여 모든 지표에서 최고의 기준 모델 성능을 초월하거나 동등하게 유지했다.
• 모델 성능 향상은 여러 지표에서 일관되게 나타나, 노이즈가 섞인 음성 파형 향상에서의 강건성과 일반화 능력을 확인했다.