[논문 리뷰] MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement

Szu‐Wei Fu, Chien-Feng Liao외 2명|arXiv (Cornell University)|2019. 05. 13.

Speech and Audio Processing인용 수 117

한 줄 요약

MetricGAN은 GAN 기반 프레임워크를 도입합니다. 구분자는 평가 지표(PESQ, STOI 등)에 연결되어 이 지표에서 생성기 성능을 직접 최적화하고, 연속적인 지표 가이드 학습 및 다지표 제어를 가능하게 합니다.

ABSTRACT

Adversarial loss in a conditional generative adversarial network (GAN) is not designed to directly optimize evaluation metrics of a target task, and thus, may not always guide the generator in a GAN to generate data with improved metric scores. To overcome this issue, we propose a novel MetricGAN approach with an aim to optimize the generator with respect to one or multiple evaluation metrics. Moreover, based on MetricGAN, the metric scores of the generated data can also be arbitrarily specified by users. We tested the proposed MetricGAN on a speech enhancement task, which is particularly suitable to verify the proposed approach because there are multiple metrics measuring different aspects of speech signals. Moreover, these metrics are generally complex and could not be fully optimized by Lp or conventional adversarial losses.

연구 동기 및 목표

• GAN 기반 음성 향상에서 구분기-평가 불일치(DEM)를 동기 부여하고 해결합니다.
• 구분기가 목표 평가 지표를 근사하도록 학습하는 GAN 기반 프레임워크를 제안합니다.
• 생성기가 이진 실/가짜 레이블이 아닌 연속 지표 점수로 가이드되도록 합니다.
• 지표 기반 학습이 전통적인 Lp-손실 기반 접근법보다 우수하다는 것을 입증합니다.
• 여러 구분기를 사용해 다중 지표를 동시 최적화할 수 있음을 보입니다.

제안 방법

• 지표 Q(I)를 구분기 D가 근사하는 미분 가능 대리값으로 연결합니다.
• D(y,y)가 지표 최대값([0,1]로 정규화)과 일치하도록 D의 손실을 재정의하고 D(G(x),y)가 Q(G(x),y)를 근사하도록 합니다.
• G를 연속 목표 점수 s로 학습시키며 L_G = E_x[(D(G(x),y) - s)^2]를 사용합니다.
• 관측 데이터를 기반으로 지표 표면을 흉내 내도록 D를 반복적으로 학습시켜 G에 대한 그래디언트 지도를 가능하게 합니다.
• 필요에 따라 다중 구분기를 사용한 다지표 최적화를 확장하고, 가장 큰 지표 차이를 우선 순위로 삼는 알고리즘을 적용합니다.
• 네트워크 아키텍처를 설명합니다: G는 BLSTM 기반 마스크 추정기; D는 1- Lipschitz 연속성을 강제하기 위해 스펙트럴 정규화를 갖춘 CNN입니다.

실험 결과

연구 질문

• RQ1 구분기가 목표 평가 지표를 반영하도록 학습되면 음성 향상에 대해 그 지표를 효과적으로 최적화하는 그래디언트를 제공할 수 있는가?
• RQ2 D를 실제 지표(PESQ/STOI)에 연결하는 것이 전통적인 Lp 손실과 비교해 학습 효율성과 최종 점수를 개선하는가?
• RQ3 MetricGAN이 기존 SE 모델 및 다른 GAN 기반 방법보다 더 높은 PESQ와 STOI 점수를 달성할 수 있는가?
• RQ4 생성기에 특정 지표 점수를 부여하고 제어하는 것이 가능한가, 그리고 다중 지표를 동시에 최적화할 수 있는가?

주요 결과

• MetricGAN은 TIMIT 데이터세트에서 여러 베이스라인 및 GAN 변형에 비해 더 높은 PESQ 및 STOI 점수를 달성합니다.
• PESQ-최적화 MetricGAN(P)은 테스트된 SNR에서 가장 높은 PESQ와 근소한 상위의 STOI를 기록하여 IRM 및 CGAN 베이스라인을 능가합니다.
• STOI-최적화 MetricGAN(S)은 특히 낮은 SNR에서 가독성 향상의 두드러진 개선을 보입니다.
• 학습 효율성(목표 지표에 도달하는 반복 수)은 Lp-손실 기반 베이스라인보다 MetricGAN에서 더 높습니다.
• 연속 지표 레이블을 통해 특정 지표 점수를 갖는 음성을 생성할 수 있으며, 이를 다지표 할당으로 확장해 다수의 구분기로 구현할 수 있습니다.
• 공개 데이터세트에서의 최첨단 SE 모델과 비교했을 때 MetricGAN(P)이 최고 PESQ를 달성하고 다른 MOS 관련 지표(CSIG, CBAK, COVL)에서도 경쟁력 있는 점수를 보여 메트릭 전반에 걸친 일반화가 양호함을 시사합니다.