[論文レビュー] MetricNet: Towards Improved Modeling For Non-Intrusive Speech Quality Assessment

Meng Yu, Chunlei Zhang+3 more|arXiv (Cornell University)|Apr 2, 2021

Speech and Audio Processing参考文献 27被引用数 5

ひとこと要約

MetricNetは、地球移動距離（EMD）を用いたラベル分布学習と共同音声再構成学習を組み合わせることで、性能を向上させる画期的な非侵襲的音声品質評価モデルを提案する。PESQスコアをソフトラベル分布としてモデル化し、音声再構成を同時に学習することで、MSEを28%削減し、最先端のベースラインと比較して真のPESQとの相関が著しく高い結果を得た。

ABSTRACT

The objective speech quality assessment is usually conducted by comparing received speech signal with its clean reference, while human beings are capable of evaluating the speech quality without any reference, such as in the mean opinion score (MOS) tests. Non-intrusive speech quality assessment has attracted much attention recently due to the lack of access to clean reference signals for objective evaluations in real scenarios. In this paper, we propose a novel non-intrusive speech quality measurement model, MetricNet, which leverages label distribution learning and joint speech reconstruction learning to achieve significantly improved performance compared to the existing non-intrusive speech quality measurement models. We demonstrate that the proposed approach yields promisingly high correlation to the intrusive objective evaluation of speech quality on clean, noisy and processed speech data.

研究の動機と目的

• 従来の非侵襲的音声品質評価モデルが非微分可能で手作業で設計された特徴量と標準の回帰損失に依存するという限界を是正すること。
• 劣化レベルの推定精度を向上させるために、音声信号の再構成をエンドツーエンド学習フレームワークに統合することでモデリングの忠実性を向上させること。
• ラベル分布学習に標準のMSE/MAE損失の代わりに地球移動距離（EMD）を用いることで、訓練の安定性と性能を向上させること。
• 予測スコアの相対的な品質順序を保つために、順位相関（SRCC）を補助的目的として組み込むこと。
• クリアな音声、ノイズ混在音声、リバーブ音声、処理済み音声データ、さらには未知のアーティファクトを含む多様なデータに対して優れた一般化性能を達成すること。

提案手法

• 残差ブロック（ConvBlocks）を用いた深層ニューラルネットワークアーキテクチャを採用し、1×1畳み込みとディープワイド分離可能畳み込みを組み合わせ、PReLU活性化関数と正規化を適用する。
• 連続的なPESQスコアをNクラス（N=100または500）に離散化し、クラス間の関係をモデル化するためのガウスカーネルから導出されるソフトラベルを用いてラベル分布学習を実施する。
• 訓練目的は、ラベル分布学習のためのEMD損失と、劣化入力からクリアな音声を再構成するための別個の音声再構成ブランチからの再構成損失を組み合わせたものである。
• 予測スコアと真のPESQ順位付けとの相対的順序を保つために、順位相関（SRCC）損失を導入する。
• エンドツーエンドで訓練するためのマルチタスク目的を採用し、予測ラベル分布とターゲットラベル分布の間のEMDを最小化するとともに、クリアな音声の再構成と順位の一貫性を維持する。
• 大規模かつ多様なデータセット（クリア、ノイズ混在、リバーブ、処理済み音声を含む）上でアーキテクチャを評価し、アーティファクトの影響を受けるスペクトログラムを変更することで耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 地球移動距離（EMD）を用いたPESQスコアのソフトラベル分布としてのモデル化は、標準の回帰手法よりも非侵襲的音声品質評価を改善できるか？
• RQ2 音声再構成の共同学習は、劣化レベル推定能力の向上に寄与するか？
• RQ3 順位相関（SRCC）を訓練目的として組み込むことで、モデルの性能と一般化能力にどのような影響を与えるか？
• RQ4 提案された訓練基準（EMD + 再構成 + SRCC）は、多様な音声劣化タイプにおいて標準のMSE/MAEベースの手法を上回るか？
• RQ5 スペクトログラムの摂動によって導入された未知のアーティファクトに対しても、モデルは一般化可能か？

主な発見

• MetricNetは、最良のベースライン（フレーム正則化付きQuality-Net）と比較して、平均二乗誤差（MSE）を28%削減し、摂動を加えたテストデータ上でMSE 0.060を達成した。
• テストセットでは線形相関係数（LCC）が0.94、スピアマン順位相関係数（SRCC）が0.92を記録し、真のPESQスコアと強い整合性を示した。
• EMD損失を用いたラベル分布学習は、最大尤度推定を上回り、特に細かい量子化（N=500）とソフトラベルを用いる際の効果が顕著に現れた。
• 音声再構成学習の導入により明確な性能向上が得られ、再構成目的のおかげで予測分布がより鋭くなった。
• 順位相関損失は、ラベル分布学習と併用した場合、わずかだが一貫した改善をもたらしたが、再構成学習が同時に存在する場合には追加の利点をもたらさなかった。
• 摂動を加えたデータに対しても強固な性能を維持し、ベースラインのMSE 0.079からMetricNetでは0.060にまで低下させ、未知のアーティファクトへの耐性を示した。