[論文レビュー] Acoustics-guided evaluation (AGE): a new measure for estimating performance of speech enhancement algorithms for robust ASR

Li Chai, Jun Du+1 more|arXiv (Cornell University)|Nov 28, 2018

Speech and Audio Processing参考文献 16被引用数 7

ひとこと要約

本稿では、手動トランスクリプションやASRデコードを必要とせずに、robustな自動音声認識（ASR）のための音声強調アルゴリズム（SEA）の性能を推定する新しい指標であるAcoustics-guided Evaluation（AGE）を提案する。AGEは、事前に訓練された音響モデルを用いて、継続的で劣化した音声の状態後確率間の交差エントロピーを計算することで、PESQ、STOI、エントロピーに基づく信頼性指標と比較して、語誤り率（WER）との相関が最も高い。

ABSTRACT

One challenging problem of robust automatic speech recognition (ASR) is how to measure the goodness of a speech enhancement algorithm (SEA) without calculating the word error rate (WER) due to the high costs of manual transcriptions, language modeling and decoding process. Traditional measures like PESQ and STOI for evaluating the speech quality and intelligibility were verified to have relatively low correlations with WER. In this study, a novel acoustics-guided evaluation (AGE) measure is proposed for estimating performance of SEAs for robust ASR. AGE consists of three consecutive steps, namely the low-level representations via the feature extraction, high-level representations via the nonlinear mapping with the acoustic model (AM), and the final AGE calculation between the representations of clean speech and degraded speech. Specifically, state posterior probabilities from neural network based AM are adopted for the high-level representations and the cross-entropy criterion is used to calculate AGE. Experiments demonstrate AGE could yield consistently highest correlations with WER and give the most accurate estimation of ASR performance compared with PESQ, STOI, and acoustic confidence measure using Entropy. Potentially, AGE could be adopted to guide the parameter optimization of deep learning based SEAs to further improve the recognition performance.

研究の動機と目的

• 自動音声認識（ASR）における語誤り率（WER）を用いた音声強調アルゴリズム（SEA）の評価に伴う高い計算コストとアノテーションコストを低減すること。
• 現実のASRシナリオにおいてWERとの相関が弱い従来の客観的指標（PESQやSTOI）の限界を克服すること。
• 信号レベルの品質指標では検出できない、ASR関連の歪みを捉える指標を開発すること、特にマルチコンditionトレーニング下での対応。
• 下流のASR性能と整合性を持つ指標を用いて、深層学習ベースのSEAをエンドツーエンドで最適化可能にする。
• WERの代替として信頼性が高く、高速かつトランスクリプション不要な、robustなASRパイプラインにおけるSEA性能評価の代替手段を提供すること。

提案手法

• MFCC、FBANK、fMLLRなどの手作業特徴または生の音声信号から低レベル表現（LLRs）を抽出する。
• 非線形変換を介してLLRsを高レベル表現（HLRs）にマッピングする、事前に訓練済みのニューラルネットワークベースの音響モデル（AM）を用い、特に状態後確率（SPPs）を抽出する。
• AGEスコアとして、継続的音声と劣化音声のSPP間の交差エントロピーを計算し、以下の式を用いる：$ \text{AGE} = -\sum_{t} \sum_{s} p_{\text{clean}}(s|t) \log p_{\text{degraded}}(s|t) $。
• AMの識別的知識を活用し、HLRsがASR関連の音響情報を反映するようにする。
• AMをクリアなデータで事前学習し、AGE計算中は固定することで一貫性を確保し、データ漏洩を回避する。
• さまざまな条件でAGEを適用：ノイズタイプの変化、SNRレベル、SEA（例：OM-LSA、DNN）およびトレーニングモード（マルチコンディション対クリアコンディション）の変化。

実験結果

リサーチクエスチョン

• RQ1 AGEは、多様なASR条件において、従来の歪み指標（PESQ、STOI）および音響信頼性（エントロピー）と比較して、WERとの相関が高いか？
• RQ2 SEAがASR目的以外の最適化（例：STOIやPESQ）を目的としている場合、AGEは既存の指標を上回って認識性能を推定できるか？
• RQ3 AGEは、ノイズタイプやSNRレベルが変化する状況、特にWERが0%または100%になる極端な状態でも効果を発揮するか？
• RQ4 AGEは、従来のMMSEやPESQベースの損失関数と比較して、深層学習ベースのSEAの最適化基準として信頼できるか？
• RQ5 異なる音響モデルや言語モデルに対してもAGEは一貫した性能を示すか？ これは、バックエンドの変化に対して頑健であることを示唆する。

主な発見

• AGEは、全テスト条件においてWERとのピアソン相関が最も高く、DNNベースのSEAを用いたマルチコンディショントレーニングでは0.744、クリアコンディショントレーニングでは0.800を記録した。
• マルチコンディショントレーニングでは、AGEは未処理のノイズ混在音声に対してWERと0.743の相関を示し、STOI（0.628）、PESQ（0.554）、エントロピー（0.553）を上回った。
• クリアコンディショントレーニングでは、AGEはWERと0.800の相関を示し、STOI（0.615）、PESQ（0.650）、エントロピー（0.554）を大きく上回った。
• AGEは、ノイズタイプやSNRレベルの変化にかかわらず、認識性能推定において常にベースラインを上回り、WERとの最も強い単調な関係を示した。
• AGEは、PESQやSTOIの最適化を目的としていないSEA（例：OM-LSA）の評価も正確に実施できる。OM-LSAはSTOIでは低性能だが、クリアコンディショントレーニングではDNNより優れたWERを達成するが、PESQやSTOIはその効果を正しく捉えられない。
• より優れたSEA（例：クリアコンディショントレーニングでDNNはOM-LSAよりAGEスコアが低い）に対してAGEスコアは低くなる傾向にあり、これはWERとの強い逆相関関係を示し、AGEの予測精度を裏付けた。