[논문 리뷰] Improving Perceptual Quality by Phone-Fortified Perceptual Loss using Wasserstein Distance for Speech Enhancement

Tsun-An Hsieh, Cheng Yu외 3명|arXiv (Cornell University)|2020. 10. 28.

Speech and Audio Processing참고 문헌 42인용 수 12

한 줄 요약

이 논문은 음성 강화를 위한 새로운 손실 함수인 Phone-Fortified Perceptual Loss (PFPL)을 제안한다. PFPL은 wav2vec의 잠재 표현에서 유도된 음소 정보를 통합하고, 분포 차이를 측정하기 위해 워샤르스키 거리(Wasserstein distance)를 사용한다. PFPL은 Voice Bank–DEMAND 데이터셋에서 기존 방법들을 능가하는 최고 수준의 성능을 기록하며, PESQ 및 STOI와 같은 청취 품질 및 이해도 평가 지표에서 뛰어난 성능을 보인다.

ABSTRACT

Speech enhancement (SE) aims to improve speech quality and intelligibility, which are both related to a smooth transition in speech segments that may carry linguistic information, e.g. phones and syllables. In this study, we propose a novel phone-fortified perceptual loss (PFPL) that takes phonetic information into account for training SE models. To effectively incorporate the phonetic information, the PFPL is computed based on latent representations of the wav2vec model, a powerful self-supervised encoder that renders rich phonetic information. To more accurately measure the distribution distances of the latent representations, the PFPL adopts the Wasserstein distance as the distance measure. Our experimental results first reveal that the PFPL is more correlated with the perceptual evaluation metrics, as compared to signal-level losses. Moreover, the results showed that the PFPL can enable a deep complex U-Net SE model to achieve highly competitive performance in terms of standardized quality and intelligibility evaluations on the Voice Bank-DEMAND dataset.

연구 동기 및 목표

• 음성 품질과 이해도가 음소 및 음절 단위의 부드러운 전이에 의존하므로, 손실 함수에 음소 정보를 통합함으로써 음성 강화 성능을 향상시키기 위해.
• 인간의 청각 평가 지표와 상관관계가 낮은 신호 수준의 손실 함수(L1, L2 등)의 한계를 해결하기 위해.
• wav2vec의 자기지도 학습 표현을 활용하여 음성 강화 모델의 표현 충실도를 향상시키기 위해.
• 기하학적으로 의미 있는 거리 측정 기준을 사용하여 노이즈가 섞인 음성과 청소음 음성 간의 분포 일치도를 향상시키기 위해.
• 인간 청각 인지에 더 정확히 반영된 청각 손실을 통해 음성 강화의 일반화 능력과 청각 품질을 향상시키기 위해.

제안 방법

• PFPL은 사전 학습된 wav2vec 모델의 잠재 표현을 기반으로 청각 손실을 계산하며, 이는 풍부한 음소 및 언어 정보를 담고 있다.
• 손실 함수는 잠재 특징 간의 분포 차이를 측정하기 위해 워샤르스키 거리(W1)를 사용하여 최적 운반 기반 정렬을 가능하게 한다.
• 전반적인 목적 함수는 표준 재구성 손실(MAE)과 PFPL을 조합하여 신호의 정밀도를 유지하면서도 청각 품질을 향상시킨다.
• 이 방법은 음성 강화를 최적 운반 문제로 간주하며, wav2vec 임베딩 공간에서 노이즈가 섞인 음성과 청소음 음성 표현 간의 워샤르스키 거리를 최소화한다.
• 딥 커플렉스 U-Net 아키텍처를 사용하여 엔드 투 엔드로 모델을 훈련시키며, PFPL을 주요 청각 목적 함수로 사용한다.
• 제거 실험(ablation studies)를 통해 각 구성 요소의 기여도를 검증한다: 음소 표현, 워샤르스키 거리, 재구성 손실.

실험 결과

연구 질문

• RQ1 자기지도 학습 표현에서 유도된 음소 정보를 통합함으로써 청각 품질에서 음성 강화 성능을 향상시킬 수 있는가?
• RQ2 표준 Lp 노름 대비 워샤르스키 거리를 청각 손실 측정 기준으로 사용할 경우, 노이즈가 섞인 음성과 청소음 음성 표현 간의 정렬 성능이 향상되는가?
• RQ3 인간 평가 지표와의 상관관계 측면에서 PFPL은 신호 수준의 손실과 기존의 청각 손실(DFL, PERL 등)과 비교해 어떤가?
• RQ4 PFPL의 각 구성 요소인 음소 표현, 워샤르스키 거리, 재구성 손실이 최종 성능에 기여하는 정도는 어떠한가?
• RQ5 PFPL로 훈련된 모델은 표준 음성 강화 벤치마크에서 최고 성능을 기록할 수 있는가?

주요 결과

• PFPL은 Voice Bank–DEMAND 데이터셋에서 비교된 모든 방법들 중에서 가장 높은 PESQ 점수(3.15)를 기록했으며, DFL(2.58), MetricGAN(2.86), HiFi-GAN(2.94)을 모두 능가했다.
• PFPL 손실은 청각 지표와 가장 강한 상관관계를 보였다: PESQ와의 피어슨 상관계수(PCC)는 0.89, STOI와의 PCC는 0.87로, L1, L2, wSDR, DFL보다 유의미하게 높았다.
• 제거 실험 결과, 워샤르스키 거리 사용(PFPL vs. PFPL - W)이 성능 향상에 기여함을 확인했으며, PESQ는 3.11에서 3.15로, STOI는 0.95에서 0.95로 상승했다.
• MAE 손실 포함(PFPL - W vs. PFPL - W - MAE)으로 CBAK 점수가 3.05에서 3.52로 상승하여 배경 음성 품질 유지 능력 향상을 확인했다.
• PFPL는 CSIG 점수 4.18과 COVL 3.67을 기록하여 높은 음성 품질과 자연스러움을 보였으며, PERL-wav2vec(CSIG: 4.16, COVL: 3.54)를 능가했다.
• 결과는 PFPL가 인간 청각 인지에 더 잘 반영된 방식으로, 특히 음소 연속성과 이해도를 고려하여 강화된 음성과 청소음 음성의 잠재 표현을 효과적으로 정렬함을 보여준다.