[논문 리뷰] MBNet: MOS Prediction for Synthesized Speech with Mean-Bias Network

Yichong Leng, Xu Tan외 4명|arXiv (Cornell University)|2021. 02. 27.

Speech Recognition and Synthesis참고 문헌 23인용 수 5

한 줄 요약

MBNet는 합성 음성의 MOS 예측을 위해 새로운 평균-편향 신경망을 제안하며, 문장 수준의 평균 점수와 개별 평가자 편향을 모두 활용하여 성능을 향상시킨다. 평균 서브넷과 편향 서브넷을 함께 학습시킴으로써, MOSNet 기준선 대비 VCC 2018 및 VCC 2016 데이터셋에서 각각 2.9%와 6.7% 높은 시스템 수준 SRCC를 달성한다.

ABSTRACT

Mean opinion score (MOS) is a popular subjective metric to assess the quality of synthesized speech, and usually involves multiple human judges to evaluate each speech utterance. To reduce the labor cost in MOS test, multiple methods have been proposed to automatically predict MOS scores. To our knowledge, for a speech utterance, all previous works only used the average of multiple scores from different judges as the training target and discarded the score of each individual judge, which did not well exploit the precious MOS training data. In this paper, we propose MBNet, a MOS predictor with a mean subnet and a bias subnet to better utilize every judge score in MOS datasets, where the mean subnet is used to predict the mean score of each utterance similar to that in previous works, and the bias subnet to predict the bias score (the difference between the mean score and each individual judge score) and capture the personal preference of individual judges. Experiments show that compared with MOSNet baseline that only leverages mean score for training, MBNet improves the system-level spearmans rank correlation co-efficient (SRCC) by 2.9% on VCC 2018 dataset and 6.7% on VCC 2016 dataset.

연구 동기 및 목표

• 기존 MOS 예측 모델에서 개별 평가자 점수가 낭비되는 문제를 해결하기 위해, 제한된 훈련 데이터에서 가치가 있는 세부 평가 점수를 활용하지 못하는 점을 해결한다.
• 일관되지 않은 기준과 개인적 선호로 인한 평가자 간 점수 편향으로 인한 성능 저하를 완화한다.
• 전용 편향 서브넷을 사용해 평균 점수와 개별 평가자 편향을 함께 모델링함으로써 MOS 예측 정확도를 향상시킨다.
• 클리핑된 평균 제곱오차 손실과 반복 패딩을 통해 훈련을 안정화하고 노이즈가 있는 개별 레이블에 대한 과적합을 방지한다.
• 기존 MOS 예측 백본에 아키텍처 제약 없이 통합 가능한 일반화 가능한 프레임워크를 개발한다.

제안 방법

• MBNet는 이중 브랜치 아키텍처를 사용한다: 기존 연구들과 유사하게 각 문장의 평균 MOS를 예측하는 평균 서브넷.
• 개별 평가자 점수가 문장의 평균 점수에서 얼마나 떨어져 있는지(편향)를 예측하는 편향 서브넷을 도입한다.
• 최종적으로 평가자 점수는 평균 점수와 예측된 편향의 합으로 계산되며, 이는 일반적 품질과 개인적 선호를 함께 학습하는 데 기여한다.
• 과적합을 줄이기 위해 클리핑된 평균 제곱오차(CMSE) 손실을 사용한다.
• 각 문장의 평가자 수가 다양할 수 있도록 훈련 시 반복 패딩을 적용하여, 영점 패딩보다 더 뛰어난 내성 확보를 한다.
• 프레임워크는 모듈식이며 다양한 백본 아키텍처와 호환되며, 다중 작업 학습이나 글로벌 품질 토큰과 같은 고급 기법과의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 MOS 데이터셋에서 개별 평가자 점수를 활용할 경우, 평균 점수만 사용하는 것에 비해 자동 MOS 예측 모델의 성능 향상이 이루어지는가?
• RQ2 전용 편향 서브넷을 통해 평가자 간 편향을 모델링하면 더 견고하고 정확한 MOS 예측이 가능한가?
• RQ3 클리핑된 평균 제곱오차 손실이 노이즈가 많은 개별 평가자 점수에 대한 과적합을 효과적으로 줄이고 시스템 수준 상관관계를 향상시키는가?
• RQ4 정확한 평가자 식별자가 포함될 경우 성능 향상이 얼마나 이루어지는가? 이는 편향 학습이 성공적으로 이루어졌음을 시사한다.
• RQ5 시스템 수준 스피어만 순서상관계수(SRCC) 측면에서 MBNet 프레임워크는 최신 기술 대비 어떻게 비교되는가?

주요 결과

• VCC 2016 데이터셋에서 MBNet는 MOSNet 기준선 대비 6.7% 향상된 시스템 수준 SRCC를 기록하며, 0.920 대비 0.853을 기록한다.
• VCC 2018 데이터셋에서는 MBNet가 시스템 수준 SRCC를 2.9% 향상시켜 0.949를 달성했으며, 기준선은 0.920이었다.
• 제거 실험 결과, 편향 서브넷을 제거할 경우 성능 저하가 발생함을 확인하여, 일반화 및 정확도 향상에 기여함을 입증한다.
• 편향 서브넷만으로는 성능이 열악하다(0.343, VCC 2018), 이는 평균 서브넷이 일반화를 담당하고, 편향 서브넷이 조합 시에만 개인별 편향을 학습함을 시사한다.
• 추론 시 정확한 평가자 식별자를 사용할 경우, 문장 수준 SRCC가 MeanNet 전용일 때 0.647에서 MeanNet + BiasNet일 때 0.740으로 향상되며, 편향 서브넷이 개별 평가자 선호도를 성공적으로 포착함을 확인한다.
• 클리핑된 MSE 손실은 정확도가 약간 감소하더라도 정확한 레이블에 대한 과적합을 방지하여 시스템 수준 성능을 향상시킨다.