[논문 리뷰] Single-sided Real-time PESQ Score Estimation

Sebastián Basterrech, Gerardo Rubino외 1명|arXiv (Cornell University)|2012. 12. 27.

Advanced Adaptive Filtering Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 원본 신호가 필요로 하지 않는 네트워크 및 애플리케이션 파라미터를 기반으로 훈련된 신경망을 사용하여 실시간 단측 PESQ 점수 추정 방법을 제안한다. 이 방법은 PLC 기반 케이스에서 평균 절대 오차(MAE)가 0.221 MOS 포인트이고, 비-PLC 케이스에서는 0.412로 나타나, VoIP 시스템에서 저지연 QoE 모니터링을 가능하게 한다.

ABSTRACT

For several years now, the ITU-T's Perceptual Evaluation of Speech Quality (PESQ) has been the reference for objective speech quality assessment. It is widely deployed in commercial QoE measurement products, and it has been well studied in the literature. While PESQ does provide reasonably good correlation with subjective scores for VoIP applications, the algorithm itself is not usable in a real-time context, since it requires a reference signal, which is usually not available in normal conditions. In this paper we provide an alternative technique for estimating PESQ scores in a single-sided fashion, based on the Pseudo Subjective Quality Assessment (PSQA) technique.

연구 동기 및 목표

• 원본 신호가 이용 불가능한 VoIP 애플리케이션에서 실시간, 기준 신호가 없는 PESQ 점수 추정을 가능하게 하기 위해.
• 기존 PESQ의 한계를 극복하기 위해 기준 신호가 필요로 하며 실시간이 아닌 점수 평가 방식을 개선하기 위해.
• 주관적 MOS 점수 대신 PESQ를 목표 함수로 사용하는 PSQA 프레임워크를 활용하여, 비용이 많이 드는 주관적 테스트에 대한 의존도를 줄이기 위해.
• 자원 제약이 있는 장치(예: 스마트폰)에 배포 가능한 계산 효율성이 높고 저지연인 방법을 개발하기 위해.
• 정확한 단측 품질 추정을 제공하여 실시간 QoE 제어 메커니즘을 가능하게 하기 위해.

제안 방법

• 손실 은폐(PLC) 여부에 따라 별도의 순방향 신경망(FF-NN)을 훈련시키며, 입력으로 네트워크 파라미터(손실률, 평균 손실 버스트 크기)를 사용한다.
• 10만 개 이상의 VoIP 샘플에서 얻은 원래의 PESQ 점수를 기준 타겟으로 하여 신경망을 훈련시킨다.
• 원본 신호가 필요 없이 네트워크 및 애플리케이션 수준의 파라미터만을 기반으로 실시간으로 PESQ 점수를 예측하기 위해 훈련된 신경망을 적용한다.
• 이전 연구에서 제안된 중앙값 기반 추정을 베이스라인으로 사용하여 신경망 성능을 검증한다.
• 미리 보지 않은 데이터 포인트에서 평균 제곱오차(MSE), 근미분 평균 제곱오차(RMSE), 평균 절대 오차(MAE)를 사용하여 모델 성능을 평가한다.
• 손실 은폐 영향을 반영하기 위해 PLC=0과 PLC=1에 대해 각각 별도의 모델 $f_0$ 및 $f_1$을 사용한다.

실험 결과

연구 질문

• RQ1 원본 기준 신호에 접근할 수 없는 단측 실시간 방식으로 PESQ 점수를 정확하게 추정할 수 있는가?
• RQ2 네트워크 및 애플리케이션 파라미터를 기반으로 훈련된 신경망이 실제 PESQ 평가와 비교해 얼마나 잘 PESQ 점수를 예측할 수 있는가?
• RQ3 손실 은폐(PLC) 상태를 포함함으로써 PESQ 추정 정확도가 향상되는가?
• RQ4 다양한 네트워크 조건에서 제안된 단측 PESQ 추정 방법의 실현 가능한 오차율(MSE, MAE)은 얼마인가?
• RQ5 이 방법은 자원 제약이 있는 장치에서 실시간으로 효율적으로 구현되어 QoE 모니터링 및 제어에 활용될 수 있는가?

주요 결과

• 손실 은폐가 비활성화된 경우(PLC=0)에 제안된 방법은 평균 절대 오차(MAE)가 0.412 MOS 포인트로 매우 높은 정확도를 보인다.
• 손실 은폐가 활성화된 경우(PLC=1)에는 MAE가 0.221 MOS 포인트로 감소하여 추정 정확도가 향상됨을 보여준다.
• 근미분 평균 제곱오차(RMSE)는 PLC=0일 경우 0.486, PLC=1일 경우 0.276로 나타나 일관되고 낮은 예측 오차를 확인한다.
• 이 방법은 실시간 PESQ 추정이 가능하므로 스마트폰과 같은 장치에 배포되고 실시간 QoE 제어 시스템에 적합하다.
• 특히 중간 수준의 손상이 있는 정상 운영 조건에서 다양한 네트워크 조건에 대해 잘 일반화됨을 보여준다.
• PSQA에서 PESQ를 목표 함수로 사용함으로써 기준 기반 PESQ에 비해 저비용, 정확하고 효율적인 대안을 제공함을 입증한다.