[論文レビュー] SRMR variants for improved blind room acoustics characterization

Mohammed Senoussaoui, João Felipe Santos+1 more|arXiv (Cornell University)|Oct 15, 2015

Speech and Audio Processing参考文献 11被引用数 6

ひとこと要約

本稿では、残響音声からの盲的な残響時間（RT60）および直接音エネルギー対残響エネルギー比（DRR）推定のため、Speech-to-Reverberation Modulation Energy Ratio（SRMR）の新規変種を提案する。フレーム単位およびモードバンド単位の処理を組み合わせ、話者差を低減する正規化を施すことで、NSRMR*kバージョンは、最先端のベースラインと比較してRMSEを23%相対的に低減し、正解RT60との相関係数を最大47%向上させた。これは、盲的な部屋音響特性同定において顕著な改善を示している。

ABSTRACT

Reverberation, especially in large rooms, severely degrades speech recognition performance and speech intelligibility. Since direct measurement of room characteristics is usually not possible, blind estimation of reverberation-related metrics such as the reverberation time (RT) and the direct-to-reverberant energy ratio (DRR) can be valuable information to speech recognition and enhancement algorithms operating in enclosed environments. The objective of this work is to evaluate the performance of five variants of blind RT and DRR estimators based on a modulation spectrum representation of reverberant speech with single- and multi-channel speech data. These models are all based on variants of the so-called Speech-to-Reverberation Modulation Energy Ratio (SRMR). We show that these measures outperform a state-of-the-art baseline based on maximum-likelihood estimation of sound decay rates in terms of root-mean square error (RMSE), as well as Pearson correlation. Compared to the baseline, the best proposed measure, called NSRMR_k , achieves a 23% relative improvement in terms of RMSE and allows for relative correlation improvements ranging from 13% to 47% for RT prediction.

研究の動機と目的

• 実世界の環境において、部屋インパルス応答の直接測定が不実用な状況における盲的な部屋音響特性同定の課題に対処すること。
• 先行研究で示されたように、SRMRに基づく残響推定における話者間および話者内ばらつきを低減すること。
• 残響音声のモードスペクトル表現を用いて、残響時間（RT60）および直接音対残響エネルギー比（DRR）推定の精度を向上させること。
• さまざまなノイズ条件下での単一およびマルチチャネル音声データにおいて、SRMR変種の性能を評価すること。
• リアルタイムの音声強調および認識システムが残響環境で動作する場合に適した、堅牢で低複雑度の指標を開発すること。

提案手法

• 聴覚の臨界バンドをモデル化するためのガンマトーンフィルターバンクを用い、その後、ヒルベルト変換に基づくエンベロープ抽出により時間的ダイナミクスを捉える。
• エンベロープを256msのフレームに分割し、32msのシフトをとる。各フレームをDFTを用いてモード領域に変換し、モードスペクトルを取得する。
• モードエネルギーを8つのバンド（k=1から8）にグループ化する。最初のバンド（k=1）は低周波モードエネルギーを表し、バンドk=5～8は残響関連エネルギーに使用される。
• 提案されたNSRMR*k指標は、話者差を低減するための正規化を施したフレーム単位・バンド単位のSRMR比を計算する。RT60予測において最適なk=5が選択された。
• マルチチャネル処理では、個々のチャネルからの特徴量を平均化して回帰に用いることで、性能を維持しつつ推定分散を低減する。
• サポートベクターレグレッション（SVR）を用いてSRMRに基づく特徴量からRT60およびDRRを予測し、RMSEおよびピアソン相関係数を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 モードスペクトルの正規化は、SRMRに基づく残響推定における話者間および話者内ばらつきを低減できるか？
• RQ2 フレーム単位およびモードバンド単位のSRMR情報を取り入れることで、平均ベースのSRMRと比較してRT60およびDRR推定の精度が向上するか？
• RQ3 さまざまなノイズタイプ（環境ノイズ、バブルノイズ、ファンノイズ）および信号対ノイズ比において、単一およびマルチチャネル設定下でのSRMR変種の性能はいかがなっているか？
• RQ4 マルチチャネル処理は、単一チャネル手法と比較して、推定誤差分散をさらに低減し、耐障害性を向上させられるか？
• RQ5 提案されたSRMR変種は、最大尤度推定ベースラインと比較して、RMSEおよび相関係数の観点でどの程度優れているか？

主な発見

• NSRMR*kバージョンは、最大尤度ベースラインと比較して、RT60推定におけるRMSEを23%相対的に低減し、k=5で最高の性能を示した。
• NSRMR*k指標は、さまざまなノイズ条件下で正解RT60とのピアソン相関係数を13%から47%まで向上させ、ベースラインを著しく上回った。
• 単一チャネル設定では、提案されたすべてのSRMR変種が、元のSRMRおよびベースラインと比較してRMSEと予測誤差分散を低減した。特にNSRMR*kは相関係数の向上が顕著であった。
• DRR推定において、OSRMRおよびNOSRMR変種は、元のSRMR指標と比較してRMSEを最大18%低減した。
• マルチチャネル設定では、特徴量の平均化により性能が維持され、2チャネルケースでは単一チャネルと比較して予測誤差分散が50%以上低減した。これは、高度な統合戦略を用いることでさらなる向上が期待できることを示唆している。
• NSRMR*k指標は単一チャネル設定において非常に効果的であったが、制限されたチャレンジ提出のためマルチチャネル評価が行われず、そのマルチチャネル性能は今後の研究課題として残っている。