[論文レビュー] LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech

Wen-Chin Huang, Erica Cooper+2 more|arXiv (Cornell University)|Oct 18, 2021

Speech Recognition and Synthesis被引用数 10

ひとこと要約

LDNetは、合成音声における平均評価点数（MOS）予測のための統合的でリスナー依存（LD）モデルフレームワークを提案する。音声とリスナーIDを入力として、直接的にリスナーごとの品質スコアを予測する。2つの推論手法—'全リスナー'および'mean listener'—を導入し、特に1サンプルあたり複数のスコアが利用可能な状況では、MBNetなどの先行ベースラインを上回る安定性と効率性を示す。VCC2018および新規の大規模データセットにおいて、発話レベルおよびシステムレベルの指標で優れた性能を発揮した。

ABSTRACT

An effective approach to automatically predict the subjective rating for synthetic speech is to train on a listening test dataset with human-annotated scores. Although each speech sample in the dataset is rated by several listeners, most previous works only used the mean score as the training target. In this work, we present LDNet, a unified framework for mean opinion score (MOS) prediction that predicts the listener-wise perceived quality given the input speech and the listener identity. We reflect recent advances in LD modeling, including design choices of the model architecture, and propose two inference methods that provide more stable results and efficient computation. We conduct systematic experiments on the voice conversion challenge (VCC) 2018 benchmark and a newly collected large-scale MOS dataset, providing an in-depth analysis of the proposed framework. Results show that the mean listener inference method is a better way to utilize the mean scores, whose effectiveness is more obvious when having more ratings per sample.

研究の動機と目的

• 深層学習ベースのMOS予測におけるデータ不足問題を、平均スコアのみでなく、利用可能な全リスナーのスコアを活用することで解決すること。
• 音声とリスナーIDを同時にモデル化するエンドツーエンドフレームワークにより、MOS予測におけるリスナー依存モデルを統合すること。
• 2つの新規推論戦略—'全リスナー'および'mean listener'モード—を導入することで、予測の安定性と推論効率を向上させること。
• リスナー依存モデルの有効性を実証的に検証し、特に1発話あたりのスコア数の変動に応じた性能を評価すること。
• 既存手法（例：MBNet）を上回る柔軟性と軽量なアーキテクチャを提供すること。

提案手法

• LDNetは、入力音声波形とリスナーIDを条件として、リスナーごとのMOSスコアを予測する統合的深層学習フレームワークである。
• モデルは軽量なエンコーダ（例：MobileNetV3）と単純なフィードフォワードネットワーク（FFN）デコーダを用い、モデルサイズと学習時間を削減する。
• 2つの推論モードをサポートする：'全リスナー'推論は訓練済みの全リスナーの予測を平均化し、安定性を向上させる。'mean listener'推論は学習された仮想リスナーを用い、高速かつ効率的な予測を実現する。
• 'mean listener'モードは、スコアの算術平均を近似するように学習され、バイアス成分を破棄せずに平均スコアを直接利用可能にする。
• モデルは、予測スコアと実際のリスナースコアの間の平均二乗誤差（MSE）を最小化する損失関数を用いて学習される。
• 効率性を最適化したアーキテクチャであり、アブレーションスタディにより、強力なエンコーダが最小限のデコーダでも効果的であることが示された。

Fig. 1 : Illustration of the models described in this work. From lest to right: MOSNet, MBNet, LDNet, LDNet with MeanNet multitask learning (LDNet-MN).

実験結果

リサーチクエスチョン

• RQ1 MOSNet や MBNet といった平均スコアのみを対象とするベースラインと比較して、統合的リスナー依存フレームワークはMOS予測性能を向上させることができるか？
• RQ2 '全リスナー'推論モードは、平均ネット推論と比較して予測分散を低減し、より頑健な性能を示すか？
• RQ3 複数のスコアが1発話あたり存在する状況において、'mean listener'推論モードは従来の平均ネット推論よりも効果的かつ効率的であるか？
• RQ4 エンコーダアーキテクチャの選択（例：MobileNetV2 対 MobileNetV3）が、モデル性能および学習効率に与える影響は何か？
• RQ5 学習された仮想平均リスナー（LDNet-ML）を用いたリスナー依存モデルは、別個の平均サブネットを用いたマルチタスク学習（LDNet-MN）よりも、平均スコアをより効果的に活用できるか？

主な発見

• '全リスナー'推論モードは、平均ネット推論と比較して、発話レベルおよびシステムレベルのMSEを顕著に低減し、予測の安定性が向上していることを示した。
• VCC2018ベンチマークにおいて、'mean listener'推論を用いたLDNetは、システムレベルのSRCCが0.881、MSEが0.157を達成し、MBNetベースラインを上回った。
• 新たに収集したBVCCデータセットでは、'mean listener'推論を用いたLDNet-MLが、システムレベルのSRCCが0.886、MSEが0.169を達成し、一貫した性能向上を示した。
• MobileNetV3エンコーダは、MobileNetV2と比較してモデルサイズを0.25Mパラメータ削減し、学習時間を33%短縮したが、性能は維持または向上させた。
• 'mean listener'推論モードは、'mean net'や'mean bias'マルチタスク学習（LDNet-MN）よりも効果的であり、後者は性能の低下を示した。
• BVCC（1サンプルあたり8件のスコア）ではVCC2018（1サンプルあたり4件のスコア）よりもLDNet-MLの利点が顕著に現れ、より多くのスコアが平均スコアの信頼性を高めることを確認した。

Fig. 2 : Illustration of the LDNet model architecture with a RNN-based decoder.