[論文レビュー] MBNet: MOS Prediction for Synthesized Speech with Mean-Bias Network

Yichong Leng, Xu Tan+4 more|arXiv (Cornell University)|Feb 27, 2021

Speech Recognition and Synthesis参考文献 23被引用数 5

ひとこと要約

MBNetは、合成音声におけるMOS予測のための新しい平均バイアスネットワークを提案する。本手法は、発話レベルの平均スコアと個々の評価者バイアスの両方を活用することで性能を向上させる。平均サブネットとバイアスサブネットを同時に学習することで、MOSNetベースラインと比較して、VCC 2018では2.9%、VCC 2016では6.7%高いシステムレベルのSRCCを達成した。

ABSTRACT

Mean opinion score (MOS) is a popular subjective metric to assess the quality of synthesized speech, and usually involves multiple human judges to evaluate each speech utterance. To reduce the labor cost in MOS test, multiple methods have been proposed to automatically predict MOS scores. To our knowledge, for a speech utterance, all previous works only used the average of multiple scores from different judges as the training target and discarded the score of each individual judge, which did not well exploit the precious MOS training data. In this paper, we propose MBNet, a MOS predictor with a mean subnet and a bias subnet to better utilize every judge score in MOS datasets, where the mean subnet is used to predict the mean score of each utterance similar to that in previous works, and the bias subnet to predict the bias score (the difference between the mean score and each individual judge score) and capture the personal preference of individual judges. Experiments show that compared with MOSNet baseline that only leverages mean score for training, MBNet improves the system-level spearmans rank correlation co-efficient (SRCC) by 2.9% on VCC 2018 dataset and 6.7% on VCC 2016 dataset.

研究の動機と目的

• 既存のMOS予測モデルでは個々の評価者スコアが十分に活用されていない問題に取り組む。これは、限られた訓練データにおいても詳細な評価が価値を持つにもかかわらず、無視されているためである。
• 評価者間のスコアバイアス（不一致な基準や個人の好みによる偏り）が性能を低下させる要因となるのを軽減する。
• 専用のバイアスサブネットを用いて平均スコアと個々の評価者のずれを同時にモデル化することで、MOS予測の精度を向上させる。
• クリッピングされた平均二乗誤差損失と繰り返しパディングを用いて、トレーニングを安定化させ、ノイズの多い個々のラベルへの過学習を防止する。
• アーキテクチャ的制約なしに既存のMOS予測バックボーンを強化できる汎用的なフレームワークを開発する。

提案手法

• MBNetは二重ブランチアーキテクチャを採用する。平均サブネットは、先行研究と同様に、各発話の平均MOSを予測する。
• バイアスサブネットを導入し、各評価者のスコアと発話の平均スコアの差（バイアス）を予測する。
• 最終的な評価者スコアは、平均スコアと予測されたバイアスの和として計算され、一般の質と個々の好みの両方を共同で学習可能となる。
• 過学習を軽減するため、クリッピングされた平均二乗誤差（CMSE）損失が使用される。
• 発話ごとの評価者数が変動する状況をよりよく扱うために、トレーニング時に繰り返しパディングが適用され、ゼロパディングよりもロバスト性が向上する。
• フレームワークはモジュラーであり、さまざまなバックボーンアーキテクチャと互換性があり、マルチタスク学習やグローバル品質トークンなどの高度な技術との統合も可能である。

実験結果

リサーチクエスチョン

• RQ1 MOSデータセット内の個々の評価者スコアを活用することで、平均スコアのみを用いる場合と比較して、自動MOS予測モデルの性能が向上するか？
• RQ2 専用のバイアスサブネットを用いて評価者間バイアスをモデル化することで、よりロバストで正確なMOS予測が達成できるか？
• RQ3 クリッピングされた平均二乗誤差損失は、ノイズの多い個々の評価者スコアへの過学習を効果的に軽減し、システムレベルの相関を向上させることができるか？
• RQ4 正しく評価者IDを含めることで予測性能がどの程度向上するか。これは、バイアス学習が成功しているかどうかを示す。
• RQ5 システムレベルのスピアマン順位相関係数（SRCC）において、MBNetフレームワークは最先端のMOS予測モデルと比較してどの程度優れているか？

主な発見

• VCC 2016データセットでは、MOSNetベースラインと比較して、MBNetはシステムレベルのSRCCを6.7%向上させ、0.920（ベースライン0.853）を達成した。
• VCC 2018データセットでは、MBNetはシステムレベルのSRCCを2.9%向上させ、0.949（ベースライン0.920）を達成した。
• アブレーションスタディの結果、バイアスサブネットを削除すると性能が低下し、一般化と精度向上に貢献していることが確認された。
• バイアスサブネット単体では性能が著しく低く（VCC 2018でSRCC 0.343）、これは平均サブネットに依存して一般化を行い、結合された状態でのみ評価者固有のバイアスを学習していることを示している。
• 推論時に正しい評価者を含めることで、発話レベルのSRCCは、MeanNet単体の0.647から、MeanNet + BiasNetの0.740に向上した。これは、バイアスサブネットが個々の評価者好みを正しく捉えていることを確認している。
• クリッピングされたMSE損失は、正確なラベルへの過学習を防ぐことでシステムレベルの性能を向上させたが、発話レベルの精度はわずかに低下した。