[논문 리뷰] CMGAN: Conformer-Based Metric-GAN for Monaural Speech Enhancement

Sherif Abdulatif, Ruizhe Cao외 1명|arXiv (Cornell University)|2022. 09. 22.

Speech and Audio Processing참고 문헌 127인용 수 11

한 줄 요약

이 논문은 공유 인코더와 이중 분지 디코더를 사용하여 시간-주파수 도메인에서 위상과 진폭을 함께 최적화하는 컨フォ머 기반의 메트릭 GAN인 CMGAN을 제안한다. 이는 단일 귀로의 음성 향상에서 소음 제거, 반향 제거, 초해상도 처리 작업 전반에서 최신 기술 수준의 성능을 달성하며, Voice Bank+DEMAND에서 PESQ 3.41과 SSNR 11.10 dB의 성능을 기록한다. 또한 DNS-MOS 및 청취 테스트를 통해 예측되지 않은 소음 유형으로의 일반화 능력이 뛰어나다.

ABSTRACT

In this work, we further develop the conformer-based metric generative adversarial network (CMGAN) model for speech enhancement (SE) in the time-frequency (TF) domain. This paper builds on our previous work but takes a more in-depth look by conducting extensive ablation studies on model inputs and architectural design choices. We rigorously tested the generalization ability of the model to unseen noise types and distortions. We have fortified our claims through DNS-MOS measurements and listening tests. Rather than focusing exclusively on the speech denoising task, we extend this work to address the dereverberation and super-resolution tasks. This necessitated exploring various architectural changes, specifically metric discriminator scores and masking techniques. It is essential to highlight that this is among the earliest works that attempted complex TF-domain super-resolution. Our findings show that CMGAN outperforms existing state-of-the-art methods in the three major speech enhancement tasks: denoising, dereverberation, and super-resolution. For example, in the denoising task using the Voice Bank+DEMAND dataset, CMGAN notably exceeded the performance of prior models, attaining a PESQ score of 3.41 and an SSNR of 11.10 dB. Audio samples and CMGAN implementations are available online.

연구 동기 및 목표

• 소음 제거, 반향 제거, 초해상도 처리를 동시에 다룰 수 있는 통합적인 딥 러닝 프레임워크를 개발하는 것.
• 비가역적 청취 평가 점수(예: PESQ, STOI)를 직접 최적화하기 위해 미분 가능한 메트릭 디스크riminator를 사용함으로써 음성 향상에서의 메트릭 불일치 문제를 해결하는 것.
• 구조적 혁신과 광범위한 아블레이션 연구를 통해 예측되지 않은 소음 유형과 왜곡에 대한 일반화 능력을 향상시키는 것.
• 희소하게 다뤄진 복소 시간-주파수 도메인 초해상도 처리의 가능성과 효과성을 탐색하는 것.

제안 방법

• 합성된 진폭과 복소수(실수/허수) 스펙트로그램 성분을 결합하여 처리하는 공유 인코더를 갖춘 컨포머 기반 생성자 제안.
• 공유 표현에서 시간적 및 주파수적 의존성을 효율적으로 모델링하기 위해 이중 경로 트랜스포머를 이중 단계 블록으로 활용.
• 진폭 추정을 위한 전용 마스크 디코더와 복소수 스펙트로그램의 실수 및 허수 성분을 정밀하게 보정하기 위한 별도의 분지 제안.
• 비가역적 청취 평가 점수(예: PESQ, STOI)를 예측하도록 훈련된 메트릭 디스크riminator를 사용하여 생성자를 지도함으로써 ℓp-노름 손실에 의존하지 않음.
• 확대 비율이 점차 증가하는 확장된 조밀 블록을 적용하여 과도한 파rameter 수를 피하면서 장거리 맥락을 포착함.
• 디코더 분지에서 특징 업스케일링을 위해 서브픽셀 컨볼루션과 2D 역전치 컨볼루션을 활용함.

실험 결과

연구 질문

• RQ1 공유 인코더를 갖춘 컨포머 기반 아키텍처가 다중 작업 단일 귀 음성 향상에서 기존 모델을 능가할 수 있는가?
• RQ2 기본적인 GAN과 비교했을 때 제안된 메트릭 디스크riminator가 예측되지 않은 소음 유형으로의 일반화 능력을 어떻게 향상시키는가?
• RQ3 복소수 TF 도메인에서 진폭과 위상을 함께 최적화할 경우, 진폭 전용 또는 시간 도메인 접근 방식과 비교해 얼마나 더 낮은 아티팩트를 유발하는가?
• RQ4 CMGAN 프레임워크는 도전적인 시간-주파수 초해상도 처리 작업을 효과적으로 처리할 수 있으며, 기존 방법과 비교해 어떤가?

주요 결과

• CMGAN은 Voice Bank+DEMAND 데이터셋에서 소음 제거 작업에서 PESQ 3.41과 SSNR 11.10 dB의 성능을 기록하여 이전 최신 기술 수준의 방법들을 능가한다.
• DNS-MOS 점수와 청취 테스트를 통해 예측되지 않은 소음 유형과 왜곡에 대한 일반화 능력이 뛰어나며, 일관된 청취 품질을 보여준다.
• 비정상적 소음 조건에서 특히 뛰어난 위상 재구성 성능를 보이며, 기존 방법들 중에서 가장 우수한 위상 재구성 능력을 확보하였다. 기저대역 위상 차이의 시각화 결과에서 이를 확인할 수 있다.
• 아블레이션 연구를 통해 공유 인코더, 이중 분지 디코더, 메트릭 디스크riminator가 성능 향상에 각각 기여하고 있음을 확인하였으며, 특히 청취 품질 향상에 핵심적인 역할을 하는 메트릭 디스크riminator가 중요하다.
• CMGAN은 시간-주파수 초해상도 처리 분야에서 새로운 최신 기술 수준을 설정하였으며, 이는 이 복잡한 작업을 효과적으로 다룬 최초의 모델 중 하나이다.
• 모델은 오직 183만 개의 파라미터로도 경쟁적인 성능를 달성하여 높은 파라미터 효율성을 입증하였다.