[論文レビュー] ESPnet-se: end-to-end speech enhancement and separation toolkit designed for asr integration

Chenda Li, Jing Shi+9 more|arXiv (Cornell University)|Nov 7, 2020

Speech and Audio Processing参考文献 60被引用数 75

ひとこと要約

ESPnet-SE は、自動音声認識（ASR）とのシームレスな統合を目的としたエンドツーエンド音声強調および分離ツールキットであり、ASRモデルと併せて音声強調システムの共同学習と評価を可能にしている。単一およびマルチチャネル、アンリバーブおよびリバーブ、単一およびマルチスプーカーのシナリオをサポートし、最先端の性能を達成しており、特に WSJ0-2mix において 16.1% の WER を記録する、分離と ASR の共同最適化を実現している。

ABSTRACT

We present ESPnet-SE, which is designed for the quick development of speech enhancement and speech separation systems in a single framework, along with the optional downstream speech recognition module. ESPnet-SE is a new project which integrates rich automatic speech recognition related models, resources and systems to support and validate the proposed front-end implementation (i.e. speech enhancement and separation).It is capable of processing both single-channel and multi-channel data, with various functionalities including dereverberation, denoising and source separation. We provide all-in-one recipes including data pre-processing, feature extraction, training and evaluation pipelines for a wide range of benchmark datasets. This paper describes the design of the toolkit, several important functionalities, especially the speech recognition integration, which differentiates ESPnet-SE from other open source toolkits, and experimental results with major benchmark datasets.

研究の動機と目的

• エンドツーエンド音声強調および分離（E2E-SE）と自動音声認識（ASR）を統合した包括的かつオープンソースのツールキットを提供し、共同最適化を可能にする。
• 字幕データを活用することで、クリアな参照音声信号が存在しない状況でも、ASR損失を用いた E2E-SE モデルのシームレスな学習と評価を可能にする。
• 単一／マルチチャネル、アンリバーブ／リバーブ、単一／マルチスプーカーのさまざまな入力条件を、一つのフレームワーク内でサポートする。
• ベンチマークデータセットにおけるデータ準備、特徴抽出、学習、評価のための即時利用可能な、ワンストップレシピを提供する。
• 既存のツールキットとは異なり、ESPnet の包括的な ASR モデルと直接統合することで、共同最適化と性能評価を可能にする。

提案手法

• TasNet、DPRNN、T-Fマスキング、ニューラルビームフォーマーを含む最先端の E2E-SE モデルを、統合された PyTorch ベースのフレームワークに統合する。
• 生波形入力をサポートし、周波数ドメインモデルに差分可能な STFT を適用することで、バックプロパゲーションを介したエンドツーエンド学習を可能にする。
• 複数のベンチマークデータセットにわたり、データ前処理、特徴抽出、モデル学習、評価の段階的で統一されたレシピを提供する。
• ESPnet の ASR モデル（例：Transformer、CTC、アテンションベースのエンコーダデコーダ）をオプションで統合し、ASR損失を用いた共同学習を可能にする。
• E2E-SE 損失と ASR 損失の両方を用いた共同最適化をサポートし、クリアな参照が存在しない弱教師ありデータ（例：CHiME-4）に対しても直接学習可能である。
• 事前学習済みの ASR モデル（例：WSJ で学習済み）を用いて強調／分離された音声を評価し、WER/CER を用いた E2E-SE 性能のゼロショット評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド音声強調および分離モデルを、統合されたフレームワーク内で自動音声認識（ASR）と効果的に統合することで、耐障害性が向上するか？
• RQ2 E2E-SE と ASR モジュールの共同最適化が、ノイズ混在またはリバーブ環境下の音声認識性能に与える影響は何か？
• RQ3 ASR 評価指標を用いて評価した場合、WSJ0-2mix や空間的拡張 WSJ0-2mix のようなベンチマークデータセットにおける E2E-SE モデルの性能はどの程度か？
• RQ4 クリアな参照音声信号が入手不可な状況でも、文字起こしデータのみを活用することで、E2E-SE システムが競争力のある性能を達成できるか？
• RQ5 ASR を E2E-SE パイプラインに統合した場合、スタンドアロンの E2E-SE やスタンドアロンの ASR と比較して、耐障害性および一般化性能にどのような差が生じるか？

主な発見

• Conv-TasNet を ASR モデルと統合した場合、WSJ0-2mix 評価セットで 16.7% の WER を達成し、強力なエンドツーエンド性能を示した。
• DPRNN を用いた E2E-SE モデルは、ASR と共同最適化された場合、WSJ0-2mix で 16.1% の WER を達成し、一部のケースでスタンドアロンの WSJ ASR を上回った。
• 空間的拡張 WSJ0-2mix データセットでは、ニューラルビームフォーマーがアンリバーブ条件下で、先行研究と比較して 7 dB 以上の SDR 向上を達成した。
• リバーブ環境下では、ニューラルビームフォーマーが先行研究と同等の性能を示したが、WPE 音声除去モジュールと組み合わせることでさらなる向上が得られた。
• E2E-SE と ASR の共同学習により、WSJ0-2mix データセットでの学習のみでも、ASR 性能が向上した（例：Conv-TasNet + Transformer で 15.8% WER）。
• スペクトログラムの可視化により、DPRNN モデルが困難な同性混合音声から効果的に音源信号を分離していることが確認され、2 つのテストサンプルでそれぞれ 18.54 dB および 12.88 dB の高い SDR を達成した。