[논문 리뷰] iSEGAN: Improved Speech Enhancement Generative Adversarial Networks

Deepak Baby|arXiv (Cornell University)|2020. 02. 20.

Speech and Audio Processing참고 문헌 31인용 수 9

한 줄 요약

이 논문은 원시 노이즈 있는 웨이브포맷을 직접 정제된 웨이브포맷으로 매핑하는 엔드투엔드 음성 향상 기반의 개선된 조건부 GAN 프레임워크인 iSEGAN을 제안한다. 이는 가상 배치 정규화(VBN)를 인스턴스 정규화(IN)로 대체하고, 일방적 레이블 스무딩을 적용하며, 학습 가능한 Gammatone 청각 필터링 및 프리-emphasis 계층을 통합한다. 이러한 수정은 학습 안정성을 향상시키고 계산 비용을 감소시키며, STOI 및 PESQ와 같은 핵심 지표에서 VBN 기반 GAN과 강력한 LSTM-IRM 기준선을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Popular neural network-based speech enhancement systems operate on the magnitude spectrogram and ignore the phase mismatch between the noisy and clean speech signals. Conditional generative adversarial networks (cGANs) show promise in addressing the phase mismatch problem by directly mapping the raw noisy speech waveform to the underlying clean speech signal. However, stabilizing and training cGAN systems is difficult and they still fall short of the performance achieved by the spectral enhancement approaches. This paper investigates whether different normalization strategies and one-sided label smoothing can further stabilize the cGAN-based speech enhancement model. In addition, we propose incorporating a Gammatone-based auditory filtering layer and a trainable pre-emphasis layer to further improve the performance of the cGAN framework. Simulation results show that the proposed approaches improve the speech enhancement performance of cGAN systems in addition to yielding improved stability and reduced computational effort.

연구 동기 및 목표

• 음성 향상에 대한 조건부 GAN(cGAN) 학습의 불안정성과 높은 계산 비용 문제를 해결하기 위해.
• 매개변수 스펙트로그램 기반 방법에서 발생하는 위상 불일치 문제를 해결하기 위해 원시 노이즈 웨이브포맷을 직접 정제된 웨이브포맷으로 매핑하는 것.
• 아키텍처 및 정규화 혁신을 통해 cGAN 기반 음성 향상 성능을 향상시키기 위해.
• 청각 기반 계층(Gammatone 필터링, 프리-emphasis)의 영향을 모델 안정성 및 향상 품질에 대해 조사하기 위해.

제안 방법

• 학습 시간 및 메모리 오버헤드를 줄이기 위해 생성기의 판별기에서 가상 배치 정규화(VBN)를 인스턴스 정규화(IN)로 대체한다.
• 대안적 학습 과정의 안정성 향상과 수렴 개선을 위해 일방적 레이블 스무딩을 적용한다.
• 인간 청각 처리를 모델링하기 위해 생성기 및 판별기 양쪽에 학습 가능한 Gammatone 필터 밴드 계층을 도입한다.
• 고주파 성분을 향상시키고 학습 안정성을 개선하기 위해 학습 가능한 프리-emphasis 계층을 통합한다.
• 생성기는 노이즈 있는 웨이브포맷과 난수를 입력으로 받아 조건부로 정제된 웨이브포맷을 생성하는 조건부 GAN 프레임워크를 사용한다.
• 생성기와 판별기 사이의 최소-최대 대결적 학습 목표를 설정하며, 웨이브포맷 출력에 L1 손실을 적용한다.

실험 결과

연구 질문

• RQ1 가상 배치 정규화(VBN)에 비해 인스턴스 정규화(IN)가 조건부 GAN(cGAN) 학습의 안정성과 속도 향상에 기여하는가?
• RQ2 일방적 레이블 스무딩이 cGAN 기반 음성 향상 모델의 안정성과 성능 향상에 기여하는가?
• RQ3 학습 가능한 Gammatone 필터 밴드 및 프리-emphasis 계층의 통합이 모델 성능과 안정성 향상에 기여하는가?
• RQ4 잠재 노이즈 벡터의 포함 여부가 모델이 정제된 음성 표현을 학습하는 데에 긍정적 또는 부정적인 영향을 미치는가?
• RQ5 cGAN 기반 접근 방식이 LSTM-IRM 기준선과 같은 전통적인 매개변수 스펙트로그램 기반 향상 방법을 능가할 수 있는가?

주요 결과

• 인스턴스 정규화와 일방적 레이블 스무딩을 적용한 iSEGAN 모델은 STOI 점수 0.939와 PESQ 2.60을 기록하여 LSTM-IRM 기준선을 능가했다.
• 인스턴스 정규화를 적용함으로써 VBN 기반 SEGAN 모델 대비 학습 시간이 감소하고 성능이 향상되었다.
• 학습 가능한 Gammatone 필터링 및 프리-emphasis 계층의 추가로 성능 향상이 더욱 뚜렷했으며, 특히 안정성과 청각 품질 측면에서 유의미한 개선이 있었다.
• 모든 구성 요소(IN + 레이블 스무딩 + GT + 프리-emphasis)를 통합한 모델은 STOI 0.939와 PESQ 2.60를 기록했지만, 안정성 문제가 발생하여 평형 상태 간의 상충 관계가 존재함을 시사했다.
• 잠재 벡터는 성능 향상에 긍정적인 기여를 했으며, 이를 제거할 경우 학습이 불안정해지고 수렴하지 못하는 현상이 발생했다.
• 제안된 cGAN 프레임워크는 최초로 강력한 IRM 기반 기준선을 능가하는 음성 향상 성능을 달성했으며, 엔드투엔드 시스템의 잠재력을 입증했다.