[논문 리뷰] Quality-Net: An End-to-End Non-intrusive Speech Quality Assessment Model based on BLSTM

Szu‐Wei Fu, Yu Tsao외 2명|arXiv (Cornell University)|2018. 08. 16.

Speech and Audio Processing참고 문헌 22인용 수 21

한 줄 요약

이 논문은 청소된 參照 신호가 필요 없이 문장 수준의 음성 품질을 예측할 수 있는 종단간(end-to-end), 비침습적 음성 품질 평가 모델인 Quality-Net을 제안한다. 이는 이중 방향 장기 단기 기억(LSTM, BLSTM) 네트워크를 사용하며, 제약 조건이 있는 학습과 忘음 게이트 초기화를 통해 프레임 수준의 평가를 활용한다. Quality-Net은 소음이 있는 음성에서 PESQ와 0.9의 높은 상관관계를 달성했고, 향상된 음성에서는 0.84의 상관관계를 기록하여 실제 음성 처리 응용 분야에서 강력한 잠재력을 보여준다.

ABSTRACT

Nowadays, most of the objective speech quality assessment tools (e.g., perceptual evaluation of speech quality (PESQ)) are based on the comparison of the degraded/processed speech with its clean counterpart. The need of a "golden" reference considerably restricts the practicality of such assessment tools in real-world scenarios since the clean reference usually cannot be accessed. On the other hand, human beings can readily evaluate the speech quality without any reference (e.g., mean opinion score (MOS) tests), implying the existence of an objective and non-intrusive (no clean reference needed) quality assessment mechanism. In this study, we propose a novel end-to-end, non-intrusive speech quality evaluation model, termed Quality-Net, based on bidirectional long short-term memory. The evaluation of utterance-level quality in Quality-Net is based on the frame-level assessment. Frame constraints and sensible initializations of forget gate biases are applied to learn meaningful frame-level quality assessment from the utterance-level quality label. Experimental results show that Quality-Net can yield high correlation to PESQ (0.9 for the noisy speech and 0.84 for the speech processed by speech enhancement). We believe that Quality-Net has potential to be used in a wide variety of applications of speech signal processing.

연구 동기 및 목표

• 청소된 參照 신호가 필요 없는 비침습적 음성 품질 평가 모델을 개발하는 것.
• PESQ와 같은 전통적 객관적 지표가 '황금 기준' 參照에 의존하는 실용적 제약를 해결하는 것.
• 프레임 수준의 예측을 사용하여 문장 수준 레이블에서 종단간 학습을 가능하게 하는 것.
• 청소된 參照가 이용 불가능한 실제 시나리오에서 음성 품질 추정의 강건성과 정확도를 향상시키는 것.

제안 방법

• 모델은 음성 프레임 내의 장기적 의존성을 포착하기 위해 이중 방향 LSTM(BLSTM) 아키텍처를 사용한다.
• 프레임 수준의 품질 예측 결과가 집계되어 전체 문장 수준의 품질을 추정한다.
• 학습 중에 프레임 수준의 출력이 문장 수준의 품질 레이블과 일치하도록 제약 조건을 적용한다.
• 망각 게이트의 초기화에 타당한 값을 적용하여 네트워크가 학습 초반부터 의미 있는 품질 표현을 학습할 수 있도록 한다.
• 모델은 문장 수준의 평균 의견 점수(MOS) 레이블을 지도로 하여 종단간으로 훈련된다.
• 아키텍처는 청소된 參조 신호가 필요 없이 원시적으로 열악한 음성 신호를 직접 품질 점수로 매핑함으로써 비침습적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 청소된 參조 신호에 접근할 수 없는 환경에서 딥 러닝 모델이 음성 품질을 정확히 예측할 수 있는가?
• RQ2 어떻게 프레임 수준의 품질 예측을 문장 수준의 품질 레이블과 효과적으로 일치시킬 수 있는가?
• RQ3 망각 게이트 초기화가 BLSTM 기반 모델에서 의미 있는 품질 표현을 학습하는 데 어떤 영향을 미치는가?
• RQ4 종단간 비침습적 모델이 실제 열악한 음성 신호에서 PESQ와 높은 상관관계를 달성할 수 있는 정도는 어느 정도인가?
• RQ5 제안된 방법은 재학습 없이 소음이 있는 신호와 음성 향상 신호 모두에 일반화될 수 있는가?

주요 결과

• Quality-Net은 소음이 있는 음성에서 PESQ와 0.9의 상관관계를 기록하여 열악한 신호에서 뛰어난 성능을 보였다.
• 향상된 음성에서 모델은 PESQ와 0.84의 상관관계를 확보하여 다양한 처리 조건에서도 강건함을 입증했다.
• 프레임 제약 조건과 망각 게이트 초기화의 적용은 훈련 안정성과 모델 성능을 크게 향상시켰다.
• 모델는 청소된 參조 신호가 없이도 문장 수준의 레이블만으로 비침습적 품질 평가를 성공적으로 학습했다.
• 결과는 종단간 훈련과 프레임 수준의 지도 학습이 실제 음성 처리 응용 분야에서 고성능 예측을 가능하게 한다는 것을 확인시켰다.