[論文レビュー] Non-intrusive speech intelligibility prediction using automatic speech recognition derived measures

Mahdie Karbasi, Stefan Bleeck+1 more|arXiv (Cornell University)|Oct 16, 2020

Speech and Audio Processing被引用数 10

ひとこと要約

本稿では、クリアなリファレンス信号を必要とせずに、自動音声認識（ASR）から得られる指標を活用することで、語レベルの話聴取性を非侵襲的に推定するNoriを提案する。ASRに基づく分散と、盲的な推定によるSNRを組み合わせることで、多様なノイズ環境下で、聴取性が正常な聴取者および聴覚障害を有する聴取者の両方の性能を予測する上で、広く用いられているSTOI指標を上回る性能を発揮する。

ABSTRACT

The estimation of speech intelligibility is still far from being a solved problem. Especially one aspect is problematic: most of the standard models require a clean reference signal in order to estimate intelligibility. This is an issue of some significance, as a reference signal is often unavailable in practice. In this work, therefore a non-intrusive speech intelligibility estimation framework is presented. In it, human listeners' performance in keyword recognition tasks is predicted using intelligibility measures that are derived from models trained for automatic speech recognition (ASR). One such ASR-based and one signal-based measure are combined into a full framework, the proposed NO-Reference Intelligibility (Nori) estimator, which is evaluated in predicting the performance of both normal-hearing and hearing-impaired listeners in multiple noise conditions. It is shown that the Nori framework even outperforms the widely used reference-based (or intrusive) short-term objective intelligibility (STOI) measure in most considered scenarios, while being applicable in fully blind scenarios with no reference signal or transcription, creating perspectives for online and personalized optimization of speech enhancement systems.

研究の動機と目的

• クリアなリファレンス信号を必要としない非侵襲的で、リアルタイムかつパーソナライズされた音声強調を可能にする話聴取性予測フレームワークの開発。
• 聴覚補助器処理で一般的な非線形歪みやリバーブ環境において失敗する、STOIのような従来の侵襲的手法の改善。
• 聴覚障害の影響をモデルに組み込むことで、聴覚障害を有する聴取者の話聴取性を正確に予測すること、ただし現在のモデルは単純である。
• グリッドコーパスに基づく小語彙・マトリックス文ベースのデータセットを用いてフレームワークを評価し、大語彙シナリオへの拡張可能性を示す。
• ビッグデータやオンライン学習応用における音声処理アルゴリズムの評価のための、信頼性がありリファレンスなしの代替手段としての提供。

提案手法

• クリアな音声データ上で自動音声認識（ASR）モデルを学習し、特に音素ごとの後方確率の分散を、音響モデル出力から特徴抽出する。
• ASRの後方確率の分散を、ASRシステムがどの程度語を区別できるかを反映する非侵襲的指標として、話聴取性の指標とする。
• ノイズ推定アルゴリズムを用いて、劣化した音声信号から信号対雑音比（SNR）を盲的に推定し、第二の非侵襲的予測子とする。
• ASR由来の分散と推定されたSNRを、人間の聴取テストデータで学習した重み付き線形モデルを用いて統合し、一つの話聴取性スコアを生成する。
• 人間のキーワード認識性能のデータセットを用いて、組み合わせ特徴を予測子として使用し、最終的なNori推定器を学習する。
• 推定されたNoriモデルを、推論時にクリアなリファレンス信号にアクセスできない未観測のテストデータに対して、語レベルの話聴取性を予測する。

実験結果

リサーチクエスチョン

• RQ1 クリアなリファレンス信号が入手不可であっても、信頼性の高い非侵襲的話聴取性推定器を開発できるか？
• RQ2 多様なノイズ環境下で、提案されたNoriフレームワークは、広く用いられているSTOI指標と比較して、語レベルの話聴取性予測においてどの程度優れているか？
• RQ3 簡素化された聴覚障害モデルを用いても、Noriフレームワークは聴覚障害を有する聴取者の話聴取性性能を正確に予測できるか？
• RQ4 ASR由来の特徴、特に後方確率の分散や盲的なSNR推定は、正確な話聴取性予測にどの程度寄与するか？
• RQ5 Noriフレームワークは大語彙音声認識タスクに一般化可能か？その拡張にはどのようなデータ要件が必要か？

主な発見

• Noriフレームワークは、主に低SNRおよび困難な環境下で、多くのテストノイズ条件下で、正常な聴取者の語レベル話聴取性予測においてSTOI指標を上回る性能を発揮する。
• 特に文字や数字といった困難な語タイプにおいて、Noriは人間の性能（NCC、τ、RMSEで測定）との相関がSTOIを上回り、キーワード認識スコアの予測において優れた性能を示す。
• 聴覚障害を有する聴取者においては、STOIと同等の性能を示すが、一部の条件下ではわずかに優位である。STOIは聴覚障害を想定して設計されていないにもかかわらずである。
• リファレンス信号なしに、語レベルでの話聴取性を正確に予測できることを示しており、音声強調システムの非侵襲的・リアルタイム評価の可能性を実証している。
• Noriの性能は、下位のASRシステムの頑健性に敏感であることが判明しており、ASRの精度向上により、話聴取性予測性能がさらに向上する可能性を示唆している。
• フレームワークは大語彙シナリオへ拡張可能であるが、信頼性のある評価のためには、聴取テスト結果が付加された大規模な、人間がアノテートした音声データセットの収集が必要である。