[논문 리뷰] Dynamic Attention Based Generative Adversarial Network with Phase Post-Processing for Speech Enhancement

Andong Li, Chengshi Zheng외 3명|arXiv (Cornell University)|2020. 06. 13.

Speech and Audio Processing참고 문헌 19인용 수 4

한 줄 요약

이 논문은 시간-주파수 도메인에서의 음성 향상에 대해 동적 주의 기반 생성적 적대적 네트워크인 DARGAN을 제안한다. 이는 반복 학습과 단계별 후처리를 통해 소음이 섞인 특징을 점진적으로 개선하고, 동적 주의를 통해 특징을 적응적으로 재가중하며, 깊이 있는 그리피스-림 알고리즘을 통해 위상 재구성을 수행한다. DARGAN은 Voice Bank 코퍼스에서 기존 GAN 기반 및 비-GAN 기반 모델을 능가하는 최신 기술 수준(SOTA)의 성능을 달성하여 PESQ, CSIG, CBAK, COVL 지표에서 뛰어난 성능을 보였다.

ABSTRACT

The generative adversarial networks (GANs) have facilitated the development of speech enhancement recently. Nevertheless, the performance advantage is still limited when compared with state-of-the-art models. In this paper, we propose a powerful Dynamic Attention Recursive GAN called DARGAN for noise reduction in the time-frequency domain. Different from previous works, we have several innovations. First, recursive learning, an iterative training protocol, is used in the generator, which consists of multiple steps. By reusing the network in each step, the noise components are progressively reduced in a step-wise manner. Second, the dynamic attention mechanism is deployed, which helps to re-adjust the feature distribution in the noise reduction module. Third, we exploit the deep Griffin-Lim algorithm as the module for phase postprocessing, which facilitates further improvement in speech quality. Experimental results on Voice Bank corpus show that the proposed GAN achieves state-of-the-art performance than previous GAN- and non-GAN-based models

연구 동기 및 목표

• 기존 GAN 기반 음성 향상 모델의 한계, 특히 위상 추정과 특징 표현 측면에서의 문제점을 해결하기 위해.
• 새로운 딥 러닝 아키텍처를 통해 저 SNR 및 불안정한 소음 환경에서 음성 품질과 이해 가능성 향상을 위해.
• 매agnitude만으로 추정하는 주파수 스펙트럼에서 흔히 발생하는 위상 불일치 문제를 해결하기 위해 전용 위상 후처리 단계를 도입하기 위해.
• 반복 학습과 동적 주의 메커니즘을 통해 특징 학습과 잡음 억제를 향상시키기 위해.
• GAN 기반 및 비-GAN 기반 음성 향상 모델 전반에 걸쳐 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 생성자는 반복 학습 프로토콜을 활용하여 노이즈 제거 과정을 다수의 단계로 분해하며, 각 단계에서 메모리 메커니즘을 사용해 이전 단계의 출력을 개선한다.
• 노이즈 제거 모듈에 동적 주의 메커니즘이 통합되어 특징 맵을 적응적으로 재가중함으로써 표현 학습과 잡음 억제를 향상시킨다.
• 모델은 조건부 GAN(cGAN)과 함께 최소 제곱 GAN(LS-GAN)을 사용해 훈련하며, 생성자는 노이즈가 섞인 스펙트로그램을 향상된 것으로 매핑한다.
• 위상 후처리는 깊이 있는 그리피스-림 알고리즘(DGLA)을 통해 수행되며, 최적화 블록을 다수 번 전개하여 반복적으로 위상을 개선한다.
• 훈련 목표는 적대적 손실과 L1-정규화 손실을 조합하며, 하이퍼파ram터 λG는 청취 품질과 재구성 정밀도 사이의 트레이드오프를 제어한다.
• 판별자는 실제 청소된 스펙트로그램과 생성된 향상된 스펙트로그램을 구별하도록 훈련되어 생성자가 더 현실적인 출력을 생성하도록 유도한다.

실험 결과

연구 질문

• RQ1 생성자에서의 반복 학습이 소음이 섞인 특징을 반복적으로 개선함으로써 음성 향상 성능 향상에 기여하는가?
• RQ2 동적 주의 메커니즘의 통합이 시간-주파수 도메인에서 특징 표현과 잡음 억제에 긍정적인 영향을 미치는가?
• RQ3 깊이 있는 그리피스-림을 통한 위상 후처리가 매agnitude 추정에서 발생하는 위상 불일치를 수정함으로써 음성 품질을 크게 향상시키는가?
• RQ4 제안된 DARGAN 모델은 최신 기술 수준의 GAN 기반 및 비-GAN 기반 음성 향상 모델과 비교해 목적 지표에서 어떻게 성능을 냈는가?
• RQ5 청취 품질과 재구성 정밀도 사이의 최적 트레이드오프를 확보하기 위해 훈련 목표에서 적대적 손실과 L1-정규화 손실 간의 최적 비율은 무엇인가?

주요 결과

• DARGAN은 λG = 1일 때 PESQ 점수 2.93과 CSIG 4.30을 기록하며, SEGAN을 PESQ 0.80 포인트, CSIG 0.81 포인트 상회한다.
• 최근 SOTA 비-GAN 모델인 MetricGAN을 초월하여 PESQ는 0.07 포인트, CSIG는 0.08 포인트 향상되었다.
• DGLA를 사용한 위상 후처리(PPP)는 PESQ를 0.03 포인트, CBAK을 0.02 포인트 향상시켜 위상 정밀도 향상의 효과를 입증했다.
• 최적의 성능는 λG = 1에서 달성되며, 이 이상의 값은 L1 손실에 대한 과도한 강조로 인해 성능 저하를 초래한다.
• DARGAN은 DNS 챌린지에서 상위 성능를 기록한 STFT-TCN 모델보다 모든 네 가지 지표에서 뛰어난 성능를 보이며 실제 소음 환경에서의 우수성을 확인했다.
• 시각적 분석 결과 DARGAN은 잔여 잡음을 SEGAN보다 더 효과적으로 억제하면서도 형성구조와 음성 세부 정보를 잘 유지함을 확인했다.