[논문 리뷰] Time-domain Speech Enhancement with Generative Adversarial Learning

Feiyang Xiao, Jian Guan외 2명|arXiv (Cornell University)|2021. 03. 30.

Speech and Audio Processing참고 문헌 29인용 수 4

한 줄 요약

이 논문은 시간 도메인 음성 향상 프레임워크인 TSEGAN을 제안한다. 이는 생성적 적대적 네트워크에 척도 불변 신호 대 잡음비(SI-SNR) 손실로 인한 스케일 모호성 문제를 완화하고 훈련을 안정화하기 위해 척도 평가를 통합한다. SI-SNR를 통해 음성 품질을 평가하는 판별자(디스criminator)를 사용함으로써, TSEGAN은 WGAN 기반 방법보다 우수한 객관적 성능과 더 나은 일반화 성능을 달성한다. 이는 Metric GAN이 WGAN보다 우월한 이유를 설명하는 이론적 분석을 수반한다.

ABSTRACT

Speech enhancement aims to obtain speech signals with high intelligibility and quality from noisy speech. Recent work has demonstrated the excellent performance of time-domain deep learning methods, such as Conv-TasNet. However, these methods can be degraded by the arbitrary scales of the waveform induced by the scale-invariant signal-to-noise ratio (SI-SNR) loss. This paper proposes a new framework called Time-domain Speech Enhancement Generative Adversarial Network (TSEGAN), which is an extension of the generative adversarial network (GAN) in time-domain with metric evaluation to mitigate the scaling problem, and provide model training stability, thus achieving performance improvement. In addition, we provide a new method based on objective function mapping for the theoretical analysis of the performance of Metric GAN, and explain why it is better than the Wasserstein GAN. Experiments conducted demonstrate the effectiveness of our proposed method, and illustrate the advantage of Metric GAN.

연구 동기 및 목표

• 시간 도메인 음성 향상 모델에서 척도 불변 신호 대 잡음비(SI-SNR) 손실로 인한 훈련의 불안정성 문제를 해결하기 위해.
• GAN 프레임워크에 척도 평가를 통합하여 음성 향상 모델의 일반화 능력과 객관적 성능을 향상시키기 위해.
• Metric GAN이 음성 향상 작업에서 WGAN보다 우월한 이유를 이론적으로 설명하기 위해.
• 다양한 TasNet 기반 생성자들을 지원할 수 있는 유연한 프레임워크를 개발하기 위해.

제안 방법

• 프레임워크는 TasNet 기반 생성자를 사용하여 시간 도메인에서 노이즈가 섞인 음성의 잠재 표현을 학습한다.
• SI-SNR를 기반으로 향상된 음성과 정제된 음성 간의 유사도를 평가하는 척도 평가 판별자를 도입하여 기존의 표준 GAN 손실을 대체한다.
• 판별자는 실제 SI-SNR 값과 일치하는 점수를 출력하도록 훈련되어, 더 안정적이고 의미 있는 훈련 신호를 제공한다.
• 향상된 음성이 높은 SI-SNR를 달성하도록 유도하면서도, 척도 평가 판별자에 의해 안내받는 손실 함수를 통해 생성자를 최적화한다.
• 이 방법은 판별자의 출력이 객관적 척도(SI-SNR)와 일치하도록 제약를 두어 청각적 품질과의 일치를 보장하는 Metric GAN으로 수식화된다.
• 이론적 분석을 통해 특정 조건 하에서 WGAN는 Metric GAN의 특수한 경우임을 보여주며, 후자의 성능 우월성을 설명한다.

실험 결과

연구 질문

• RQ1 비록 유사한 이론적 기초를 공유하고 있지만, 왜 Metric GAN이 음성 향상에서 WGAN를 능가하는가?
• RQ2 판별자 내 척도 평가가 SI-SNR 손실로 인한 스케일 모호성을 완화하고 훈련을 안정화시킬 수 있는가?
• RQ3 목표 척도 값(q)의 선택이 Metric GAN 프레임워크 성능에 어떤 영향을 미치는가?
• RQ4 Metric GAN과 WGAN가 동일한 조건에서 등가가 되는 조건은 무엇이며, 이들이 다를 경우 성능 격차는 무엇에 기인하는가?

주요 결과

• TSEGAN은 검증 세트에서 WGAN 기반 모델보다 더 뛰어난 SI-SNR 성능을 달성하여 객관적 척도 성능 향상을 입증한다.
• 목표 값 q=20을 가진 M-TSEGAN은 q=200을 가진 M-TSEGAN보다 성능이 뛰어나, 더 작은 목표 값이 더 나은 척도 피팅과 성능을 이끌어낸다는 것을 시사한다.
• 척도 평가 판별자가 SI-SNR 손실로 인한 스케일 모호성 문제를 성공적으로 완화하여 더 안정적인 훈련을 가능하게 했다.
• 이론적 분석을 통해 특정 조건 하에서 WGAN는 Metric GAN의 특수한 경우임을 확인하였으며, 이는 Metric GAN의 성능 우월성에 대한 기초를 제공한다.
• 프레임워크는 다양한 TasNet 변종과의 통합이 가능하여 시간 도메인 음성 향상 분야에 넓은 적용 가능성을 지닌다.