[논문 리뷰] A scalable noisy speech dataset and online subjective test framework

Chandan K. Reddy, Ebrahim Beyrami외 4명|arXiv (Cornell University)|2019. 09. 17.

Speech and Audio Processing참고 문헌 11인용 수 16

한 줄 요약

이 논문은 깊이 학습 기반 음성 개선 알고리즘 평가를 위한 확장 가능한 노이즈 있는 음성 데이터셋인 MS-SNSD와 온라인 커스터마이징된 주관적 평가 프레임워크를 소개한다. 대규모 주관적 MOS 평가를 가능하게 함으로써, 저자들은 데이터셋 크기를 늘일수록 노이즈 제거 성능이 향상됨을 입증하고, PESQ 및 POLQA와 같은 객관적 지표와는 달리 주관적 MOS가 여전히 필수적임을 보여준다.

ABSTRACT

Background noise is a major source of quality impairments in Voice over Internet Protocol (VoIP) and Public Switched Telephone Network (PSTN) calls. Recent work shows the efficacy of deep learning for noise suppression, but the datasets have been relatively small compared to those used in other domains (e.g., ImageNet) and the associated evaluations have been more focused. In order to better facilitate deep learning research in Speech Enhancement, we present a noisy speech dataset (MS-SNSD) that can scale to arbitrary sizes depending on the number of speakers, noise types, and Speech to Noise Ratio (SNR) levels desired. We show that increasing dataset sizes increases noise suppression performance as expected. In addition, we provide an open-source evaluation methodology to evaluate the results subjectively at scale using crowdsourcing, with a reference algorithm to normalize the results. To demonstrate the dataset and evaluation framework we apply it to several noise suppressors and compare the subjective Mean Opinion Score (MOS) with objective quality measures such as SNR, PESQ, POLQA, and VISQOL and show why MOS is still required. Our subjective MOS evaluation is the first large scale evaluation of Speech Enhancement algorithms that we are aware of.

연구 동기 및 목표

• 음성 개선 분야의 딥러닝을 위한 대규모이고 다양한 노이즈 있는 음성 데이터셋의 부족을 해결한다.
• 기존 주관적 평가 방법의 한계를 극복한다. 이는 시간이 오래 걸리고 확장성이 떨어지기 때문이다.
• 대규모이고 커스터마이징된 주관적 평가를 위한 재현 가능하고 오픈소스 프레임워크를 개발한다.
• SNR, PESQ, POLQA, VISQOL과 같은 객관적 지표와 비교하여 주관적 평균의견점수(MOS)의 중요성을 입증한다.
• 다양한 노이즈 유형, SNR 수준, 화자 집단에서의 음성 개선 모델에 대한 표준화되고 정규화된 평가를 가능하게 한다.

제안 방법

• 화자, 노이즈 유형, SNR 수준의 임의 조합을 지원하는 모듈식이고 확장 가능한 데이터셋 생성 파이프라인을 설계한다.
• 합성 데이터 생성 방식을 사용하여, 훈련 및 평가에 적합한 대규모이고 다양한 노이즈 있는 음성 데이터셋(MS-SNSD)을 생성한다.
• 아마존 메카니컬 터크를 활용하여 대규모로 주관적 평가 점수(MOS)를 수집할 수 있는 온라인 커스터마이징 주관적 평가 프레임워크를 구현한다.
• 다양한 평가자와 세션 간의 주관적 점수를 校정하기 위해 기준 알고리즘 기반 정규화 기법을 도입한다.
• 주관적 MOS와 함께 객관적 품질 지표(SNR, PESQ, POLQA, VISQOL)를 통합하여 비교 분석한다.
• 오픈소스 라이선스 하에 데이터셋과 평가 프레임워크를 공개함으로써 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 노이즈 있는 음성 데이터셋의 크기를 늘일 경우, 딥러닝 기반 노이즈 제거 모델의 성능에 어떤 영향을 미치는가?
• RQ2 확장 가능한 커스터마이징 프레임워크는 음성 개선에 대해 일관되고 타당한 주관적 평균의견점수(MOS)를 신뢰성 있게 생성할 수 있는가?
• RQ3 실제 노이즈 있는 환경에서 객관적 음성 품질 지표(예: PESQ, POLQA, VISQOL)와 주관적 MOS 간의 상관관계는 어떠한가?
• RQ4 기존 객관적 지표가 주관적 청취 테스트에서 명백해지는 청각적 품질 향상의 일부를 얼마나 잘못 반영하는가?
• RQ5 표준화되고 오픈소스인 평가 프레임워크는 음성 개선 연구의 재현 가능성과 공정성을 향상시킬 수 있는가?

주요 결과

• MS-SNSD 데이터셋의 크기를 늘릴수록 노이즈 제거 성능 향상이 명백하게 나타나며, 딥러닝에서 데이터 스케일의 이점이 입증된다.
• 제안된 온라인 주관적 평가 프레임워크는 다양한 평가자와 조건에서 일관된 결과를 얻을 수 있는 대규모이고 신뢰할 수 있는 MOS 수집을 가능하게 한다.
• 주관적 MOS는 여전히 필수적인 평가 지표이며, PESQ나 SNR와 같은 객관적 지표가 충분히 반영하지 못하는 청각적 품질 향상까지 포괄한다.
• 객관적 지표와 MOS 간의 상관관계는 최대한으로 중간 정도에 그치며, 자동화된 측정 방법에만 의존할 경우의 한계를 드러낸다.
• 이 프레임워크는 기준 알고리즘을 활용하여 주관적 점수를 정규화함으로써, 다양한 모델과 테스트 조건 간의 공정한 비교를 가능하게 한다.
• 본 연구는 커스터마이징를 활용한 대규모, 오픈소스, 재현 가능한 음성 개선 알고리즘 주관적 평가의 첫 사례를 제시한다.