[論文レビュー] NORESQA: A Framework for Speech Quality Assessment using Non-Matching References

Pranay Manocha, Buye Xu+1 more|arXiv (Cornell University)|Sep 16, 2021

Speech and Audio Processing参考文献 72被引用数 24

ひとこと要約

本論文では、クリーンなリファレンスペアや主観的ラベルを必要とせずに、音声信号と任意の不一致リファレンス（NMR）間の相対的品質スコアを予測する、新しいフレームワークNORESQAを提案する。NMR上で対照的学習により訓練された本手法は、MOS相関が0.816に達し、下流の音声強調の事前学習においてDNSMOSを上回り、現実的でリソースが限られた状況でも頑健性と汎化性能を示す。

ABSTRACT

The perceptual task of speech quality assessment (SQA) is a challenging task for machines to do. Objective SQA methods that rely on the availability of the corresponding clean reference have been the primary go-to approaches for SQA. Clearly, these methods fail in real-world scenarios where the ground truth clean references are not available. In recent years, non-intrusive methods that train neural networks to predict ratings or scores have attracted much attention, but they suffer from several shortcomings such as lack of robustness, reliance on labeled data for training and so on. In this work, we propose a new direction for speech quality assessment. Inspired by human's innate ability to compare and assess the quality of speech signals even when they have non-matching contents, we propose a novel framework that predicts a subjective relative quality score for the given speech signal with respect to any provided reference without using any subjective data. We show that neural networks trained using our framework produce scores that correlate well with subjective mean opinion scores (MOS) and are also competitive to methods such as DNSMOS, which explicitly relies on MOS from humans for training networks. Moreover, our method also provides a natural way to embed quality-related information in neural networks, which we show is helpful for downstream tasks such as speech enhancement.

研究の動機と目的

• クリーンなリファレンスやノイズの混じった主観的ラベルを必要とするフルリファレンスおよび非侵襲的SQA手法の限界を解消すること。
• クリーンリファレンスが入手不可能な現実世界のシナリオにおいても音声品質評価を可能にすること。
• コンテンツの整合性がないまま音声信号を人間と同様の相対的品質比較で処理するニューラルネットワークの活用。
• 音声強調などの下流タスクにおける汎化性能を向上させる、微分可能で教師なしの訓練信号の提供。
• 大規模でノイズの混じった主観的データセットへの依存を減らし、NMRとのペairワイズ比較を通じて品質を学習すること。

提案手法

• 本フレームワークは、テスト音声信号と不一致リファレンス（NMR）間の相対的品質を予測するための対照的学習目的を用いる。
• NMRは多様で品質の確認されたリファレンスプールから抽出され、コンテンツの整合性なしに品質評価の根拠を提供する。
• テスト信号の品質がNMRよりも高い場合に、その品質スコアがNMRに近づくように、対照的損失を最小化するようにモデルを訓練する。
• 本フレームワークは微分可能であり、エンドツーエンドの音声強調モデルにおける事前学習目的として利用可能である。
• 事前学習中にペアドクリーンノイズデータを必要としないため、大規模な非ペアドノイズデータの利用が可能になる。
• 2AFC（2選択強制選択）タスクと下流の音声強調のファインチューニングによる評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 クリーンリファレンス信号にアクセスできない状況下で、ニューラルネットワークが不一致リファレンスに基づいて相対的品質を評価できるか？
• RQ2 NMRを用いた相対的品質予測は、既存の非侵襲的手法よりも主観的MOSとの相関性が高いか？
• RQ3 本フレームワークは、ペアドクリーンデータが存在しない状況でも、音声強調の性能向上に寄与する事前学習目的として利用可能か？
• RQ4 さまざまな摂動に対して、本フレームワークはDNSMOSと比較して、より頑健で汎化性能に優れているか？
• RQ5 NMRを用いた対照的学習目的は、絶対的スコア評価手法と比較して、品質予測の分散とノイズを低減できるか？

主な発見

• NORESQAフレームワークは、VCC2018データセットで2AFC精度81.6%を達成し、DNSMOS（68.7%）を上回り、主観的MOSと強い相関を示す。
• 本手法は、VCC2018データセットでMOSとピアソン相関0.816を達成しており、人間の知覚と高い整合性を示している。
• NORESQAを用いた事前学習により、すべてのデータスプリット（33%、66%、100%）で5つの目的指標（PESQ、STOI、SNRseg、CSIG、CBAK、COVL）が向上した。
• NORESQA事前学習による向上効果は、周囲の雑音が少ない高SNR条件下で顕著であり、この状況では知覚的劣化が微細で学習が難しい。
• 本フレームワークにより、大規模でノイズの混じった主観的データセットへの依存が軽減され、非ペアドデータ上で教師なしの対照的学習が可能になった。
• 本手法は、NMRを用いた相対的品質評価が、フルリファレンスおよび絶対的スコアベースのSQA手法の代替として実用的かつ効果的であることを示している。