[論文レビュー] Robust coherence-based spectral enhancement for distant speech recognition

Hendrik Barfuss, Christian Huemmer+2 more|arXiv (Cornell University)|Sep 23, 2015

Speech and Audio Processing参考文献 13被引用数 6

ひとこと要約

本稿では、最小分散無歪み応答（MVDR）ビームフォーマー出力における直接音響対拡散音響パワー比を推定し、これを時間的・周波数的依存のS/N比の近似として用いることで、騒音環境下における遠距離話者の音声認識を向上させる、コherー二ンスに基づくウィーナー後処理フィルタを提案する。この手法は、計算複雑度が低く、到来方向情報が不要であるにもかかわらず、実CHiME-3データの開発セットと評価セットにおいて、それぞれ2.73および5.2百分率ポイントの語誤り率（WER）の顕著な低減を達成した。

ABSTRACT

In this contribution to the 3rd CHiME Speech Separation and Recognition Challenge (CHiME-3) we extend the acoustic front-end of the CHiME-3 baseline speech recognition system by a coherence-based Wiener filter which is applied to the output signal of the baseline beamformer. To compute the time- and frequency-dependent postfilter gains the ratio between direct and diffuse signal components at the output of the baseline beamformer is estimated and used as approximation of the short-time signal-to-noise ratio. The proposed spectral enhancement technique is evaluated with respect to word error rates of the CHiME-3 challenge baseline speech recognition system using real speech recorded in public environments. Results confirm the effectiveness of the coherence-based postfilter when integrated into the front-end signal enhancement.

研究の動機と目的

• リバーブと背景ノイズが認識精度を低下させる実世界の騒音環境下で、自動音声認識（ASR）性能を向上させること。
• 特に遠距離話者状況において、ベースラインのMVDRビームフォーマーが拡散ノイズおよびリバーブを十分に抑制できないという限界を解消すること。
• 計算効率が高く、到来方向（DoA）に依存しないフロントエンド強化技術を開発し、既存のビームフォーミングと補完すること。
• CHiME-3ベースラインASRシステムにこの後処理フィルタを統合し、実データおよびシミュレートデータの両方で耐障害性を評価すること。
• 実世界の実用的状況において、スペクトル強化に適したコherー二ンス対拡散パワー比（CDR）推定の有効性を実証すること。

提案手法

• ベースラインMVDRビームフォーマー出力にコherー二ンスに基づくウィーナー後処理フィルタを適用し、拡散ノイズおよびリバーブを抑制する。
• 自己相関および相互スペクトルを用いて、ビームフォーマー出力における直接音響対拡散パワー比を推定し、これを時間的・周波数的依存のS/N比の近似として用いる。
• 推定されたCDR比を用いて、短時間フーリエ変換（STFT）領域における後処理フィルタゲインを計算し、スペクトル強化を実現する。
• 追加の空間キャリブレーションを必要としない、低複雑度かつDoAに依存しないフィルタとして実装する。
• 強化信号をCHiME-3ベースラインASRパイプラインに統合し、評価のためにHMM-GMMおよびHMM-DNN音響モデルを両方用いる。
• ビームフォーマー出力の拡散度測定値 $ D_{\text{BF}}(l,f) $ を用いてCDRを推定し、これにより後処理フィルタゲインの計算を制御する。

実験結果

リサーチクエスチョン

• RQ1 コherー二ンスに基づく後処理フィルタは、実世界の騒音環境下における遠距離話者認識の語誤り率（WER）を改善できるか？
• RQ2 提案手法の性能は、実CHiME-3データとシミュレートCHiME-3データの間でどのように比較されるか？
• RQ3 DoAに依存しないCDR推定は、実用的状況におけるスペクトル強化に十分な耐障害性と正確性を提供するか？
• RQ4 提案された後処理フィルタは、HMM-GMMおよびHMM-DNN音響モデルの両方と組み合わせて有効に機能するか？
• RQ5 後処理フィルタの低複雑度設計は、リソース制限のあるシステムにおけるリアルタイム展開を可能にするか？

主な発見

• 提案されたコherー二ンスに基づく後処理フィルタは、実CHiME-3データを用いた開発セットで2.73百分率ポイント、評価セットで5.2百分率ポイントの語誤り率（WER）の低減を達成した。
• HMM-GMMおよびHMM-DNN ASRシステムの両方で一貫した改善が得られ、実データの開発セットではHMM-DNNシステムがHMM-GMMシステムよりも優れた性能を示した。
• シミュレートデータでは、後処理フィルタがより高いWERをもたらしたが、これはパrameterが最適でないか、信号特性に不一致があるためと推定される。
• シミュレート評価データではHMM-GMMシステムがHMM-DNNシステムを上回ったが、これは本研究で最適化されていないDNNアーキテクチャの限界を示唆している。
• 実データにおいて、後処理フィルタはベースラインMVDRビームフォーマー単体よりも顕著に優れており、音声認識の耐障害性向上の有効性を確認した。
• 本手法は低計算複雑度とDoA独立性を達成しており、実用的遠距離話者応用におけるリアルタイム展開に適していることが示された。