[논문 리뷰] LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech

Wen-Chin Huang, Erica Cooper외 2명|arXiv (Cornell University)|2021. 10. 18.

Speech Recognition and Synthesis인용 수 10

한 줄 요약

LDNet는 합성 음성의 평균 의견 점수(MOS) 예측을 위한 통합 청취자 의존(LD) 모델링 프레임워크를 제안한다. 이는 음성과 청취자 신원을 기반으로 청취자별 품질 점수를 직접 예측한다. 두 가지 추론 방법—'모든 청취자'와 '평균 청취자'—를 도입하였으며, 후자는 특히 샘플당 다수의 평가가 존재할 경우 안정성과 효율성이 뛰어나, VCC2018과 새로운 대규모 데이터셋에서 기존 베이스라인인 MBNet보다 문장 수준 및 시스템 수준의 지표에서 모두 슈퍼리어한 성능을 보였다.

ABSTRACT

An effective approach to automatically predict the subjective rating for synthetic speech is to train on a listening test dataset with human-annotated scores. Although each speech sample in the dataset is rated by several listeners, most previous works only used the mean score as the training target. In this work, we present LDNet, a unified framework for mean opinion score (MOS) prediction that predicts the listener-wise perceived quality given the input speech and the listener identity. We reflect recent advances in LD modeling, including design choices of the model architecture, and propose two inference methods that provide more stable results and efficient computation. We conduct systematic experiments on the voice conversion challenge (VCC) 2018 benchmark and a newly collected large-scale MOS dataset, providing an in-depth analysis of the proposed framework. Results show that the mean listener inference method is a better way to utilize the mean scores, whose effectiveness is more obvious when having more ratings per sample.

연구 동기 및 목표

• 딥 러닝 기반 MOS 예측에서 데이터 부족 문제를 해결하기 위해 평균 점수 외에도 모든 가용한 청취자 평가 점수를 활용하는 것.
• 음성과 청취자 신원을 동시에 모델링하는 엔드 투 엔드 프레임워크를 통해 MOS 예측에서 청취자 의존 모델링을 통합하는 것.
• 새로운 추론 전략인 '모든 청취자' 및 '평균 청취자' 모드를 도입하여 예측 안정성과 추론 효율성을 향상시키는 것.
• 청취자 의존 모델링의 실증적 유효성을 검증하며, 특히 음성 샘플당 평가 수의 변화에 따른 성능 변화를 분석하는 것.
• 기존 방법들인 MBNet보다 우수한 성능을 내는 유연하고 경량화된 아키텍처를 제공하는 것.

제안 방법

• LDNet는 입력 음성 웨이브폼과 청취자 ID를 조건으로 하여 청취자별 MOS 점수를 예측하는 통합 딥 러닝 프레임워크이다.
• 모델은 모델 크기와 학습 시간을 줄이기 위해 경량 인코더(예: MobileNetV3)와 단순한 피드포워드 네트워크(FFN) 디코더를 사용한다.
• 두 가지 추론 모드를 지원한다: '모든 청취자' 추론은 모든 훈련 청취자의 예측을 평균화하여 안정성을 향상시키며, '평균 청취자' 추론은 학습된 가상의 청취자를 사용해 빠르고 효율적인 예측을 가능하게 한다.
• '평균 청취자' 모드는 산술 평균을 근사하도록 훈련되어, 평균 점수를 그대로 사용할 수 있으며 편향 성분을 손실하지 않는다.
• 예측된 청취자 점수와 실제 점수 간의 평균 제곱오차(MSE)를 최소화하는 복합 손실 함수를 사용해 프레임워크를 훈련한다.
• 모델 아키텍처는 효율성 최적화를 위해 설계되었으며, 추론 성능 분석 결과 강력한 인코더를 통해 최소한의 효과적인 디코더로도 충분히 높은 성능을 달성할 수 있음을 입증하였다.

Fig. 1 : Illustration of the models described in this work. From lest to right: MOSNet, MBNet, LDNet, LDNet with MeanNet multitask learning (LDNet-MN).

실험 결과

연구 질문

• RQ1 MOSNet 및 MBNet와 같은 평균 점수 전용 기반 모델에 비해 통합된 청취자 의존 프레임워크가 MOS 예측 성능을 향상시킬 수 있는가?
• RQ2 '모든 청취자' 추론 모드는 평균 넷 추론에 비해 예측 분산을 줄이고 안정성을 향상시키는가?
• RQ3 '평균 청취자' 추론 모드는 기존의 평균 넷 추론보다 더 효과적이고 효율적인가, 특히 샘플당 다수의 평가가 존재할 경우에 더 그렇다면?
• RQ4 인코더 아키텍처의 선택(예: MobileNetV2 대비 MobileNetV3)이 모델 성능과 학습 효율성에 어떤 영향을 미치는가?
• RQ5 학습된 가상의 평균 청취자(LDNet-ML)를 사용한 청취자 의존 모델링이, 별도의 평균 서브넷을 갖는 다중 작업 학습(LDNet-MN)보다 평균 점수를 더 효과적으로 활용할 수 있는가?

주요 결과

• '모든 청취자' 추론 모드는 평균 넷 추론 대비 문장 수준 및 시스템 수준의 MSE를 크게 감소시켜, 더 높은 예측 안정성을 입증하였다.
• VCC2018 벤치마크에서 LDNet의 '평균 청취자' 추론 모드는 시스템 수준 SRCC 0.881과 MSE 0.157을 기록하여 MBNet 기준보다 뛰어난 성능을 보였다.
• 신규로 수집한 BVCC 데이터셋에서 LDNet-ML의 '평균 청취자' 추론 모드는 시스템 수준 SRCC 0.886과 MSE 0.169를 기록하여 일관된 성능 향상을 보였다.
• MobileNetV3 인코더는 MobileNetV2 대비 모델 크기를 0.25M 파라미터 감소시켰고, 학습 시간도 33% 감소시켰으며, 성능은 유지 또는 향상시켰다.
• '평균 청취자' 추론 모드는 '평균 넷' 또는 '편향 평균' 다중 작업 학습(LDNet-MN)보다 더 효과적이었으며, 후자는 성능 저하를 보이며 향상되지 않았다.
• BVCC(샘플당 8개의 평가)에서 LDNet-ML의 이점은 VCC2018(샘플당 4개의 평가)보다 더 두드러졌으며, 이는 더 많은 평가 수가 평균 점수 활용의 신뢰성을 높임을 확인시켰다.

Fig. 2 : Illustration of the LDNet model architecture with a RNN-based decoder.