[論文レビュー] Single-sided Real-time PESQ Score Estimation

Sebastián Basterrech, Gerardo Rubino+1 more|arXiv (Cornell University)|Dec 27, 2012

Advanced Adaptive Filtering Techniques参考文献 6被引用数 4

ひとこと要約

本稿では、元の信号が利用できない状況下で、ネットワークおよびアプリケーションパラメータに基づいて訓練されたニューラルネットワークを用いて、リアルタイムで片側からのPESQスコア推定を行う手法を提案する。本手法は、PLC有効時において平均絶対誤差0.221 MOSポイント、非PLC時において0.412 MOSポイントを達成し、VoIPシステムにおける低遅延なQoE監視を可能にする。

ABSTRACT

For several years now, the ITU-T's Perceptual Evaluation of Speech Quality (PESQ) has been the reference for objective speech quality assessment. It is widely deployed in commercial QoE measurement products, and it has been well studied in the literature. While PESQ does provide reasonably good correlation with subjective scores for VoIP applications, the algorithm itself is not usable in a real-time context, since it requires a reference signal, which is usually not available in normal conditions. In this paper we provide an alternative technique for estimating PESQ scores in a single-sided fashion, based on the Pseudo Subjective Quality Assessment (PSQA) technique.

研究の動機と目的

• 元の信号が入手不可な状況下でも、リアルタイムで参照信号を不要とするPESQスコア推定を可能とすること。
• 従来のPESQに見られる制限（参照信号が必要であること、リアルタイムでないこと）を克服すること。
• 主観的MOSスコアではなく、PESQを目的関数とするPSQAフレームワークを活用することで、高コストな主観的テストへの依存を減らすこと。
• モバイル端末などのリソース制約のあるデバイスへの展開に適した、計算効率が高く低遅延な手法を開発すること。
• 正確な片側品質推定を提供することで、リアルタイムなQoE制御メカニズムの実現を可能とすること。

提案手法

• 損失隠蔽（PLC）の有無に応じて分離して訓練した順方向型ニューラルネットワーク（NN）を用い、損失率や平均損失バーストサイズといったネットワークパラメータを入力とする。
• 10万件を超えるVoIPサンプルの元のPESQスコアを、NNの学習における正解ラベルとして用いる。
• 元の信号を一切必要とせず、ネットワークおよびアプリケーションレベルのパラメータのみを用いて、リアルタイムにPESQスコアを予測する。
• 先行研究の中央値ベース推定をベースラインとして採用し、NNの性能を検証する。
• 未学習データポイントに対して、平均二乗誤差（MSE）、平均二乗平方誤差（RMSE）、平均絶対誤差（MAE）を用いてモデルを評価する。
• 損失隠蔽の有無（PLC=0 と PLC=1）に応じて、別々のモデル $f_0$ と $f_1$ を用いることで、品質への影響を適切に反映する。

実験結果

リサーチクエスチョン

• RQ1 元の参照信号にアクセスできない状況下でも、片側でリアルタイムにPESQスコアを正確に推定できるか？
• RQ2 ネットワークおよびアプリケーションパラメータに基づいて学習されたニューラルネットワークは、実際のPESQ評価と比較して、どの程度PESQスコアを正確に予測できるか？
• RQ3 損失隠蔽（PLC）状態の組み込みが、PESQ推定の精度を向上させるか？
• RQ4 本手法による片側PESQ推定の実現可能な誤差率（MSE、MAE）は、多様なネットワーク環境下でどの程度達成できるか？
• RQ5 本手法は、リソース制約のあるデバイスにリアルタイムで効率的に展開可能で、QoE監視および制御に適しているか？

主な発見

• 損失隠蔽なし（PLC=0）のケースでは、平均絶対誤差（MAE）が0.412 MOSポイントにとどまり、高い精度を示している。
• 損失隠蔽有効時（PLC=1）では、MAEが0.221 MOSポイントに低下し、推定精度が向上していることが確認された。
• 平均二乗平方誤差（RMSE）は、PLC=0の場合は0.486、PLC=1の場合は0.276であり、一貫性があり低予測誤差であることが裏付けられた。
• 本手法はリアルタイムでのPESQ推定を可能としており、モバイルデバイスやリアルタイムQoE制御システムへの展開に適している。
• 特に中程度の劣化を伴う通常運用条件下において、多様なネットワーク環境にわたって良好な一般化性能を示している。
• PSQAフレームワークにおいてPESQを目的関数として用いることで、参照信号を必要としない低コストで正確かつ効率的な代替手法が実現可能であることが示された。