[논문 리뷰] Non-intrusive speech quality assessment using neural networks

Anderson R. Avila, Hannes Gamper외 4명|arXiv (Cornell University)|2019. 03. 16.

Speech and Audio Processing참고 문헌 18인용 수 4

한 줄 요약

이 논문은 실제 환경에서 발생하는 왜곡을 반영한 커뮤니티 기반 데이터셋을 활용해 훈련된 딥 뉴럴 네트워크를 사용한 비침습적 음성 품질 평가 방법을 제안한다. 멜 주파수 특징을 사용하고, 완전 연결 DNN와 ELM 후처리기로 구성되며, 피어슨 상관계수 0.87과 평균 제곱 오차 0.15를 기록하여 PESQ, P.563 및 SRMR와 같은 기존 방법보다 두 지표에서 모두 뛰어난 성능을 보였다.

ABSTRACT

Estimating the perceived quality of an audio signal is critical for many multimedia and audio processing systems. Providers strive to offer optimal and reliable services in order to increase the user quality of experience (QoE). In this work, we present an investigation of the applicability of neural networks for non-intrusive audio quality assessment. We propose three neural network-based approaches for mean opinion score (MOS) estimation. We compare our results to three instrumental measures: the perceptual evaluation of speech quality (PESQ), the ITU-T Recommendation P.563, and the speech-to-reverberation energy ratio. Our evaluation uses a speech dataset contaminated with convolutive and additive noise, labeled using a crowd-based QoE evaluation, evaluated with Pearson correlation with MOS labels, and mean-squared-error of the estimated MOS. Our proposed approaches outperform the aforementioned instrumental measures, with a fully connected deep neural network using Mel-frequency features providing the best correlation (0.87) and the lowest mean squared error (0.15)

연구 동기 및 목표

• 청취자 기반 참조 신호에 의존하지 않는 비침습적 실시간 음성 품질 평가 방법을 개발하기 위해.
• 압축 왜곡 이외의 왜곡(예: 잡음, 반향 등)에 대해 성능이 떨어지는 기존 기능적 지표인 PESQ 및 P.563의 한계를 해결하기 위해.
• 일상적인 청각 장애(잡음, 반향, 실내 효과 등)를 반영한 현실적인 커뮤니티 레이블링 데이터셋을 활용해 신경망을 훈련하기 위해.
• 주관적 MOS를 사용하는 대신 보조 레이블(예: PESQ 점수)에 의존하는 이전 신경망 모델의 한계를 개선하기 위해.
• 다양한 음향 특징을 사용한 다양한 신경망 아키텍처를 평가하고 비교하여 MOS 예측 성능을 도출하기 위해.

제안 방법

• 120개의 실내 임펄스 응답을 사용해 음성 신호를 컨볼루션하고, 45 dB SPL의 잡음을 추가하여 실제 환경 조건을 시뮬레이션한 10,000개의 오디오 샘플로 구성된 데이터셋을 생성하였다.
• 세 가지 신경망 아키텍처를 평가: 일정 Q 스펙트럼 특징을 사용한 CNN, 총 변동성 공간에서의 i-벡터를 사용한 DNN, 멜 주파수 체르스칼 계수(MFCC)를 사용한 DNN.
• 성능이 가장 뛰어난 모델은 멜 주파수 특징을 4층 완전 연결 DNN의 입력으로 사용하고, 이후 오디오 신호 전역의 시간적 통계를 집계하기 위해 극단적 학습 기반 기계(ELM)를 사용하였다.
• 과적합 방지를 위해 드롭아웃(0.2–0.5)을 적용하고, Adam 최적화 기법을 사용하여 학습률 0.0001과 0.0004로 모델을 훈련시켰다.
• 특징 벡터를 정규화하고 평균 또는 모드 기반 통계 풀링을 적용하여 길이가 변하는 오디오 입력을 처리하여 신경망에 고정 크기의 입력을 제공하였다.
• 성능 평가에는 커뮤니티 기반 레이블링 과정에서 확보한 주관적 MOS 점수와의 피어슨 상관계수 및 평균 제곱 오차(MSE)를 사용하였다.

실험 결과

연구 질문

• RQ1 실제 환경에서 발생하는 커뮤니티 레이블링된 음성 품질 데이터로 훈련된 딥 뉴럴 네트워크가 PESQ 및 P.563와 같은 표준 기능적 지표보다 비침습적 음성 품질 평가에서 뛰어난 성능을 보일 수 있는가?
• RQ2 일정 Q 스펙트럼, i-벡터, 멜 주파수 특징과 같은 다양한 음향 특징 표현 방식이 신경망 기반의 MOS 추정 성능에 어떤 영향을 미치는가?
• RQ3 딥 뉴럴 네트워크와 시간적 특징 집계를 위한 ELM을 조합하면 단독 DNN보다 MOS 예측 정확도가 향상되는가?
• RQ4 신경망 모델이 전통적 지표가 코딩 왜곡에 치우쳐 있어 환경적 열화에는 덜 효과적인 점을 감안할 때, 인간의 음성 품질 인지에 더 잘 반영하는가?
• RQ5 주관적 MOS 점수로 훈련된 비침습적 신경망 모델이 PESQ 점수로 훈련된 모델보다 잡음 및 반향 왜곡에 대해 뛰어난 성능을 보일 수 있는가?

주요 결과

• 멜 주파수 특징을 기반으로 한 DNN에 ELM 후처리를 적용한 모델이 가장 높은 피어슨 상관계수 0.87과 가장 낮은 평균 제곱 오차 0.15를 기록하여 모든 기준 기능적 방법을 뛰어넘었다.
• i-벡터 기반 DNN는 상관계수 0.78과 MSE 0.22를 기록하여 낮은 차원의 화자 임bedded 특징을 사용함에도 불구하고 뛰어난 성능을 보였다.
• 일정 Q 스펙트럼 기반 CNN는 상관계수 0.72와 MSE 0.30를 기록하여 심리음향학적으로 유도된 특징은 효과적이지만 멜 주파수 특징보다 정확도가 떨어졌다.
• 모든 제안된 신경망 모델이 기준 기능적 지표를 모두 뛰어넘었다: PESQ (ρ=0.70, MSE=0.25), P.563 (ρ=0.55, MSE=0.36), SRMR (ρ=0.60, MSE=0.31).
• 결과는 주관적 MOS 데이터로 훈련된 신경망 모델이 전통적 지표보다 인간의 품질 인지에 더 잘 반영하며, 코딩 왜곡에 치우쳐 있고 환경적 열화에는 덜 효과적인 지표의 한계를 보여준다.
• PESQ 점수의 분포가 주관적 MOS보다 신호 대 잡음비(SNR)와 더 밀접하게 일치하는 것으로 밝혀져, PESQ가 실제 환경에서의 응용에서 핵심적인 한계를 지닌다는 점을 시사한다.