[論文レビュー] A Crowdsourcing Extension of the ITU-T Recommendation P.835 with Validation.

Babak Naderi, Ross Cutler|arXiv (Cornell University)|Oct 25, 2020

Speech and Audio Processing参考文献 11被引用数 12

ひとこと要約

本論文は、ITU-T Rec. P.835のオープンソースで自動化されたクラウドソーシング拡張手法を提示しており、P.808ガイドラインと整合している。ラボベースのP.835評価と比較して、高い妥当性（平均PCC = 0.961）と再現性（PCC = 1.00）を達成しており、ディープノイズ抑制モデルのベンチマークに有効であることが示された。

ABSTRACT

The quality of the speech communication systems, which include noise suppression algorithms, are typically evaluated in laboratory experiments according to the ITU-T Rec. P.835. In this paper, we introduce an open-source implementation of the ITU-T Rec. P.835 for the crowdsourcing approach following the ITU-T Rec. P.808 on crowdsourcing recommendations. The implementation is an extension of the P.808 Toolkit and is highly automated to avoid operational errors. To assess our evaluation method's validity, we compared the Mean Opinion Scores (MOS), calculate using ratings collected with our implementation, and the MOS values from a standard laboratory experiment conducted according to the ITU-T Rec, P.835. Results show a high validity in all three scales (average PCC = 0.961). Results of a round-robin test showed that our implementation is a highly reproducible evaluation method (PCC=1.00). Finally, we investigated the performance of five models deep noise suppression models using our P.835 implementation and show what insights can be learned.

研究の動機と目的

• ITU-T Rec. P.835のスケーラブルで自動化されたクラウドソーシングベースの実装を、音声品質評価のために開発すること。
• 信頼性を検証するため、クラウドソーシングされたMOSスコアを標準ラボベースのP.835評価と比較すること。
• 複数回のテストラウンドにわたる、クラウドソーシングフレームワークを用いた方法論の再現性を保証すること。
• 提案手法を用いて、5つのディープノイズ抑制モデルの性能を評価・比較すること。

提案手法

• ITU-T Rec. P.808 Toolkitを拡張し、P.835 MOS手法を用いたクラウドソーシングによる音声品質テストを可能にする。
• 運用誤差を最小限に抑えて一貫性を確保するため、評価パイプライン全体を自動化する。
• 標準化されたクラウドソーシングプラットフォームを通じて参加者から平均意見スコア（MOS）を収集する。
• Pearson相関係数（PCC）を用いて、クラウドソーシングされたMOSとラボベースのP.835 MOS値を比較する。
• 複数回の実行にわたる方法論的再現性を評価するため、ラウンドロビンテストプロトコルを採用する。
• フレームワークの実用的有用性を評価するため、5つのディープノイズ抑制モデルをテストケースとして採用する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングされたMOS評価は、標準ラボベースのP.835評価と比較して、妥当性においてどのように異なるか？
• RQ2 本研究で提案されたクラウドソーシング実装は、繰り返しテスト実行においてどの程度再現可能か？
• RQ3 提案されたフレームワークは、さまざまなディープノイズ抑制モデルの性能を信頼性高く区別できるか？
• RQ4 クラウドソーシングで得られたMOSスコアと、従来のラボ実験からのスコアとの相関はどの程度か？

主な発見

• クラウドソーシングされたMOSスコアは、高い妥当性を示し、ラボベースのP.835評価と比較して平均Pearson相関係数（PCC）が0.961であった。
• 本手法は完全な再現性を示し、複数回の評価ラウンドにわたるラウンドロビンテストでPCCが1.00に達した。
• フレームワークは、5つのディープノイズ抑制モデルの比較を成功裏に可能にし、聴覚的期待に一致する性能差を明らかにした。
• 自動化された実装により、運用誤差が顕著に低減され、音声品質評価の信頼性とスケーラビリティが向上した。