[論文レビュー] Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions

Wangyou Zhang, Jing Shi+3 more|arXiv (Cornell University)|Oct 27, 2021

Speech and Audio Processing被引用数 5

ひとこと要約

この論文は、時間領域のマルチチャネル音声強調におけるシミュレーション環境と実世界の条件の間の性能ギャップを解消するために、マルチチャネル Conv-TasNet をビームフォーミングフレームワークに統合した Beam-TasNet を提案し、自動音声認識（ASR）モデルと共同で訓練する。提案手法は、実際の CHiME-4 データにおいて語彙誤り率（WER）を 42% 以上低減する一方で、優れた音声強調性能を維持する。

ABSTRACT

The deep learning based time-domain models, e.g. Conv-TasNet, have shown great potential in both single-channel and multi-channel speech enhancement. However, many experiments on the time-domain speech enhancement model are done in simulated conditions, and it is not well studied whether the good performance can generalize to real-world scenarios. In this paper, we aim to provide an insightful investigation of applying multi-channel Conv-TasNet based speech enhancement to both simulation and real data. Our preliminary experiments show a large performance gap between the two conditions in terms of the ASR performance. Several approaches are applied to close this gap, including the integration of multi-channel Conv-TasNet into the beamforming model with various strategies, and the joint training of speech enhancement and speech recognition models. Our experiments on the CHiME-4 corpus show that our proposed approaches can greatly reduce the speech recognition performance discrepancy between simulation and real data, while preserving the strong speech enhancement capability in the frontend.

研究の動機と目的

• 時間領域モデルを用いたシミュレーション環境と実世界のマルチチャネル音声強調の間の性能ギャップを調査すること。
• 参照信号が利用できない実世界の状況において、マルチチャネル Conv-TasNet（MC-Conv-TasNet）のロバスト性を向上させること。
• シミュレーションと実データにおける自動音声認識（ASR）性能の乖離を低減すること。
• MC-Conv-TasNet とビームフォーミングの統合戦略を検討し、一般化性能を向上させること。
• ASR モデルと共同で訓練することの利点を評価し、実世界への一般化性能を向上させること。

提案手法

• MC-Conv-TasNet の出力から共分散行列を推定し、元のマルチチャネル入力にビームフォーミングを適用することで、MC-Conv-TasNet をMVDRビームフォーミングと統合する。
• 2 種類の統合戦略を検討する：信号ベース（sig-MVDR）とマスクベース（mask-MVDR）のMVDRビームフォーミング。VAD に類似した 1D マスクが PSM よりも優れた性能を示す。
• チャネル回転の拡張を用いて、MC-Conv-TasNet* をチャネルに配慮した方法で訓練し、マルチチャネル強調出力を可能にする。
• シミュレーションおよび実データを用いて、事前学習済みの MC-Conv-TasNet とエンドツーエンド ASR モデルを共同で微調整する。
• CHiME-4 コーパスを用いて評価し、シミュレーションと実データのテストセットで WER を主指標として性能を比較する。
• スペクトログラム可視化を用いて、モデル間の強調品質を定性的に比較する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションデータで学習した MC-Conv-TasNet および Beam-TasNet は、実世界のノイズと混浊環境に効果的に一般化できるか？
• RQ2 MC-Conv-TasNet を MVDR ビームフォーミングと統合することで、実データにおける ASR 性能にどのような影響を与えるか？
• RQ3 マスクベースのビームフォーミングにおいて、VAD に類似した 1D マスクと PSM のどちらが優れているか？
• RQ4 MC-Conv-TasNet と ASR モデルの共同訓練は、シミュレーションから実データへの性能ギャップを低減できるか？
• RQ5 異なる統合戦略は、音声強調品質と ASR のロバスト性のトレードオフにどのように影響を与えるか？

主な発見

• 提案されたマスクベースの MVDR ビームフォーミング統合による Beam-TasNet は、ベースライン ASR と比較して、実 CHiME-4 テストデータで WER を 42% 以上低減した。
• mask-MVDR は sig-MVDR よりも実データで優れた性能を示しており、これはマスク処理が TasNet 出力からのアーティファクトを効果的に抑制していることを示している。
• VAD に類似した 1D マスクは、平均化により不正確な推定を低減できるため、PSM よりも高い ASR 性能を達成した。
• MC-Conv-TasNet と ASR モデルの共同訓練は、実データにおける ASR 性能を顕著に向上させ、微調整時に実データとクリアなデータの両方を用いた場合に最も良い結果が得られた。
• シミュレーションデータではやや低い ASR 性能を示したが、共同で訓練されたモデルは、シミュレーション専用で学習したモデルよりも実世界環境への一般化性能が著しく優れていた。
• スペクトログラム可視化により、Beam-TasNet および共同訓練モデルが MC-Conv-TasNet 単体よりも、音声パターンをよりよく回復させ、ノイズをより効果的に抑制していることが確認された。