[논문 리뷰] A Crowdsourcing Extension of the ITU-T Recommendation P.835 with Validation.

Babak Naderi, Ross Cutler|arXiv (Cornell University)|2020. 10. 25.

Speech and Audio Processing참고 문헌 11인용 수 12

한 줄 요약

이 논문은 ITU-T Rec. P.835의 오픈소스이자 자동화된 컨소시엄 기반 확장 버전을 제안하며, P.808 지침과 일치한다. 실험실 기반 P.835 평가와 비교할 때 높은 타당성(평균 PCC = 0.961)과 재현성(PCC = 1.00)을 확보하였으며, 딥 노이즈 서프레션 모델의 벤치마킹에 유용함을 입증하였다.

ABSTRACT

The quality of the speech communication systems, which include noise suppression algorithms, are typically evaluated in laboratory experiments according to the ITU-T Rec. P.835. In this paper, we introduce an open-source implementation of the ITU-T Rec. P.835 for the crowdsourcing approach following the ITU-T Rec. P.808 on crowdsourcing recommendations. The implementation is an extension of the P.808 Toolkit and is highly automated to avoid operational errors. To assess our evaluation method's validity, we compared the Mean Opinion Scores (MOS), calculate using ratings collected with our implementation, and the MOS values from a standard laboratory experiment conducted according to the ITU-T Rec, P.835. Results show a high validity in all three scales (average PCC = 0.961). Results of a round-robin test showed that our implementation is a highly reproducible evaluation method (PCC=1.00). Finally, we investigated the performance of five models deep noise suppression models using our P.835 implementation and show what insights can be learned.

연구 동기 및 목표

• ITU-T Rec. P.835의 확장 가능한 자동화된 컨소시엄 기반 구현체를 개발하여 음성 품질 평가에 활용한다.
• 신뢰성 확보를 위해 컨소시엄 기반 MOS 점수를 표준 실험실 기반 P.835 평가와 비교 검증한다.
• 여러 테스트 라운드에 걸쳐 컨소시엄 기반 프레임워크를 사용한 방법론의 재현성을 확보한다.
• 제안된 방법을 사용하여 다섯 개인 딥 노이즈 서프레션 모델의 성능을 평가하고 비교한다.

제안 방법

• ITU-T Rec. P.808 툴킷을 확장하여 P.835 MOS 방법론을 활용한 컨소시엄 기반 음성 품질 테스트를 지원한다.
• 모든 평가 파이프라인을 자동화하여 운영 오류를 최소화하고 일관성을 확보한다.
• 표준화된 컨소시엄 플랫폼을 통해 참가자들로부터 평균의견점수(MOS)를 수집한다.
• 컨소시엄 기반 MOS와 실험실 기반 P.835 MOS 값 간의 상관관계를 분석하기 위해 피어슨 상관계수(PCC)를 사용한다.
• 여러 라운드에 걸친 방법론의 재현성을 평가하기 위해 라운드로빈 테스트 프로토콜을 적용한다.
• 테스트 케이스로 다섯 개인 딥 노이즈 서프레션 모델을 활용하여 프레임워크의 실용적 유용성을 평가한다.

실험 결과

연구 질문

• RQ1 컨소시엄 기반 MOS 평가가 표준 실험실 기반 P.835 평가와 비교할 때 타당성 측면에서 어떻게 다른가?
• RQ2 제안된 컨소시엄 기반 구현체가 반복적인 테스트 라운드에 걸쳐 얼마나 재현 가능한가?
• RQ3 제안된 프레임워크는 다양한 딥 노이즈 서프레션 모델 간의 성능 차이를 신뢰성 있게 식별할 수 있는가?
• RQ4 컨소시엄을 통한 MOS 점수와 전통적인 실험실 실험에서의 점수 간 상관관계는 어떠한가?

주요 결과

• 컨소시엄 기반 MOS 점수는 실험실 기반 P.835 평가와 비교해 높은 타당성을 보였으며, 평균 피어슨 상관계수(PCC)는 0.961을 기록하였다.
• 이 방법은 완벽한 재현성을 보였으며, 여러 평가 라운드에 걸친 라운드로빈 테스트에서 PCC가 1.00을 기록하였다.
• 프레임워크를 통해 다섯 개인 딥 노이즈 서프레션 모델의 비교가 성공적으로 수행되었으며, 청취적 기대와 일치하는 성능 차이가 확인되었다.
• 자동화된 구현체는 운영 오류를 크게 감소시켜 음성 품질 평가의 신뢰성과 확장성을 향상시켰다.