[論文レビュー] The ICSTM+TUM+UP Approach to the 3rd CHIME Challenge: Single-Channel LSTM Speech Enhancement with Multi-Channel Correlation Shaping Dereverberation and LSTM Language Models

Amr El-Desoky Mousa, Erik Marchi+1 more|arXiv (Cornell University)|Oct 1, 2015

Speech and Audio Processing被引用数 6

ひとこと要約

本論文は、第3回CHiMEチャレンジ用に、単一チャネルLSTMベースの音声強調と多チャネル相関形状（CS）および位相誤差フィルタリング（PEF）を用いたエコー除去を組み合わせたハイブリッド音声強調・認識システムを提示する。さらに、N-best再スコアリング用にLSTM言語モデルを用いる。この手法により、実際の評価セットで24.38%のWERを達成し、チャレンジのベースライン比で25%の相対的改善を実現した。

ABSTRACT

This paper presents our contribution to the 3rd CHiME Speech Separation and Recognition Challenge. Our system uses Bidirectional Long Short-Term Memory (BLSTM) Recurrent Neural Networks (RNNs) for Single-channel Speech Enhancement (SSE). Networks are trained to predict clean speech as well as noise features from noisy speech features. In addition, the system applies two methods of dereverberation on the 6-channel recordings of the challenge. The first is the Phase-Error based Filtering (PEF) that uses time-varying phase-error filters based on estimated time-difference of arrival of the speech source and the phases of the microphone signals. The second is the Correlation Shaping (CS) that applies a reduction of the long-term correlation energy in reverberant speech. The Linear Prediction (LP) residual is processed to suppress the long-term correlation. Furthermore, the system employs a LSTM Language Model (LM) to perform N-best rescoring of recognition hypotheses. Using the proposed methods, an improved Word Error Rate (WER) of 24.38% is achieved over the real eval test set. This is around 25% relative improvement over the challenge baseline.

研究の動機と目的

• 実世界の環境に見られる騒音とエコーの影響を受ける状況における自動音声認識（ASR）性能の向上を目的とする。
• 複数マイクによる録音において、背景ノイズと部屋のエコーによるASR性能の低下という課題に取り組む。
• 音声強調、エコー除去、言語モデルを統合したデータ駆動型でエンドツーエンドで学習可能なシステムを構築することを目的とする。
• 実世界のCHiME-3データに対して、単一チャネルLSTMベースの強調と多チャネルエコー除去技術の有効性を評価することを目的とする。

提案手法

• 片方向LSTM再帰ニューラルネットワーク（BLSTM）を用い、単一チャネル音声強調（SSE）設定において、ノイズ混在音声特徴からクリアな音声およびノイズ特徴を直接予測するように学習する。
• 2種類の多チャネルエコー除去手法を適用する：位相誤差ベースフィルタリング（PEF）は、到達時間差推定値に基づく時変位相誤差フィルタを用い、相関形状（CS）は線形予測（LP）残差における長期的相関エネルギーを低減する。
• CS手法は、特にエコー抑制のためのエコー除去インパルス応答の長さを短縮することを目的としている。
• CHiME-3データセット上で学習したLSTMベースの言語モデルを用い、ベースラインのGMM/DNN ASRシステムのN-best認識仮説を再スコアリングする。
• システムは、実データおよびシミュレーテッドCHiME-3データの両方で学習・評価され、さまざまな強調およびエコー除去設定の性能を比較した。
• 最終的な性能は、5-gramバックオフモデルを併用したハイブリッドLSTM言語モデルを用いたN-best再スコアリングにより最適化され、認識精度が向上した。

実験結果

リサーチクエスチョン

• RQ1 騒音とエコーの影響を受ける環境において、単一チャネルLSTMベースの音声強調は、語誤り率（WER）の低減にどの程度効果的か？
• RQ2 実CHiME-3データにおいて、相関形状（CS）と位相誤差ベースフィルタリング（PEF）のどちらの多チャネルエコー除去手法がより優れたASR性能を達成するか？
• RQ3 多マイクASR環境において、LSTM言語モデルによるN-best再スコアリングは、認識精度をどの程度向上させるか？
• RQ4 CSでエコー除去されたデータで学習することで、ベースラインまたはPEF強化データで学習した場合と比較して、実テストセットへの一般化性能が向上するか？
• RQ5 高度な強調およびエコー除去技術を用いる場合、シミュレーテッドデータは、実世界のASRシステムの性能を信頼性高く予測できるか？

主な発見

• 提案されたシステムは、実際の評価テストセットで語誤り率（WER）24.38%を達成し、公式チャレンジベースライン比で25%の相対的改善を示した。
• 相関形状（CS）は、位相誤差ベースフィルタリング（PEF）を上回る性能を示し、実評価データではCSが27.74% WER、PEFが28.79% WERを記録した。
• 単一チャネルLSTM強調とCSエコー除去の組み合わせが、最も優れた全体的な性能を達成し、単一チャネル強調またはPEF単体よりも優れていた。
• LSTM言語モデルを用いたN-best再スコアリングにより、CSでエコー除去されたデータに対しては約4%の相対的WER低減が達成され、ベースライン強調データに対しては5%の低減が達成された。
• シミュレーテッドデータは、実データの性能を強く予測可能な能力を示し、システム開発およびハイパーパramータチューニングにおける有用性を示唆した。
• 最良のシステムは、実開発セットで14.56% WER、実評価セットで24.38% WERを達成し、特に歩行者（PED）およびバス（BUS）環境で顕著な性能を示した。