[논문 리뷰] Improving Perceptual Quality by Phone-Fortified Perceptual Loss for Speech Enhancement.

Tsun-An Hsieh, Cheng Yu외 3명|arXiv (Cornell University)|2020. 10. 28.

Speech and Audio Processing참고 문헌 28인용 수 14

한 줄 요약

이 논문은 음성 강화를 위한 전화기반 퍼셉추얼(PFP) 손실을 제안하며, wav2vec 표현에서 추출한 음소 정보를 통합하여 청취자적 품질을 향상시킨다. 훈련 중 음소 구조를 활용함으로써 PFP 손실은 Voice Bank-DEMAND 데이터셋에서 점별 또는 신호 수준의 손실보다 표준화된 품질 및 명료성 평가 지표에서 높은 점수를 기록한다.

ABSTRACT

Speech enhancement (SE) aims to improve speech quality and intelligibility, which are both related to a smooth transition in speech segments that may carry linguistic information, e.g. phones and syllables. In this study, we took phonetic characteristics into account in the SE training process. Hence, we designed a phone-fortified perceptual (PFP) loss, and the training of our SE model was guided by PFP loss. In PFP loss, phonetic characteristics are extracted by wav2vec, an unsupervised learning model based on the contrastive predictive coding (CPC) criterion. Different from previous deep-feature-based approaches, the proposed approach explicitly uses the phonetic information in the deep feature extraction process to guide the SE model training. To test the proposed approach, we first confirmed that the wav2vec representations carried clear phonetic information using a t-distributed stochastic neighbor embedding (t-SNE) analysis. Next, we observed that the proposed PFP loss was more strongly correlated with the perceptual evaluation metrics than point-wise and signal-level losses, thus achieving higher scores for standardized quality and intelligibility evaluation metrics in the Voice Bank-DEMAND dataset.

연구 동기 및 목표

• 손실 함수에 음소 구조를 통합하여 음성 강화 성능을 향상시키기.
• 심층 특징에서 유도된 음소 정보가 음성 강화의 청취자적 품질을 향상시키는지 조사하기.
• 인간의 청취자 평가 지표와 더 잘 일치하는 손실 함수 개발하기.
• wav2vec 표현이 음성 강화에 관련된 의미 있는 음소 내용을 포함하고 있는지 검증하기.
• 기존 손실 함수보다 PFP 손실이 청취자적 품질과 명료성 측면에서 뛰어난 성능을 보임을 입증하기.

제안 방법

• PFP 손실은 대비 예측 코드(CPC) 기반의 비지도 모델인 wav2vec를 통해 추출한 음소 특징을 통합하도록 설계되었다.
• 청소음성에서 wav2vec를 사용해 음소 표현을 추출하고, 이를 음성 강화 모델의 훈련을 안내하는 데 활용한다.
• t-SNE 시각화를 통해 wav2vec 특징이 명확한 음소 구조를 담고 있음을 확인한다.
• PFP 손실은 엔드 투 엔드로 훈련되며, 모델은 청취자적 손실을 최소화하면서도 음소 내용을 유지하도록 최적화된다.
• 기존의 심층 특징 기반 방법과는 달리, 이 방법은 손실 함수에 직접적으로 음소 수준의 언어 정보를 통합한다.
• 모델은 Voice Bank-DEMAND 데이터셋에서 표준화된 청취자 평가 지표를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 wav2vec를 통해 추출한 음소 정보가 음성 강화 성능을 향상시킬 수 있는가?
• RQ2 PFP 손실이 점별 또는 신호 수준의 손실보다 인간의 청취자 평가 지표와 더 강한 상관관계를 가지는가?
• RQ3 손실 함수에 음소 구조를 통합하면 청취자적 품질과 명료성 점수가 향상되는가?
• RQ4 wav2vec 표현이 음성 강화에 적합한 분류 가능한 음소 정보를 포함하고 있는가?
• RQ5 PFP 손실은 청취자적 품질 향상 측면에서 기존 손실 함수와 비교해 어떻게 다른가?

주요 결과

• t-SNE 시각화 결과 wav2vec 표현이 명확한 음소 정보를 담고 있음을 확인하여 PFP 손실에의 활용 가능성을 뒷받침한다.
• PFP 손실은 점별 또는 신호 수준의 손실보다 청취자 평가 지표와 더 강한 상관관계를 보였다.
• PFP 손실은 Voice Bank-DEMAND 데이터셋에서 기준 손실보다 표준화된 품질 및 명료성 평가 지표에서 높은 점수를 기록했다.
• 손실 함수에 음소 구조를 통합함으로써 향상된 음성에서 청취자적 품질이 향상되었다.
• 목표 지표로 측정한 결과, 제안된 방법은 전통적인 손실 함수보다 청취자적 품질 측면에서 뛰어난 성능을 보였다.
• 결과적으로 PFP 손실을 통한 음소 인식 훈련이 신호 수준 최적화를 초월해 음성 강화 성능을 향상시킨다는 것이 입증되었다.