[論文レビュー] Guided Source Separation Meets a Strong ASR Backend: Hitachi/Paderborn University Joint Investigation for Dinner Party ASR

Naoyuki Kanda, Christoph Boeddeker+5 more|arXiv (Cornell University)|May 29, 2019

Speech and Audio Processing参考文献 30被引用数 12

ひとこと要約

本論文は、音声強調のためのガイド付きソース分離（GSS）を強力なASRバックエンドと密に統合することで、CHiME-5ディナーパartyコーパス向けに最先端のASRシステムを提示している。統合システムは開発データで39.94% WER、評価データで41.64% WERを達成し、これまでに発表された結果の中で最高であり、タスクの難易度はデータ不足ではなく、本質的な音響的課題に起因することを示している。

ABSTRACT

In this paper, we present Hitachi and Paderborn University's joint effort for automatic speech recognition (ASR) in a dinner party scenario. The main challenges of ASR systems for dinner party recordings obtained by multiple microphone arrays are (1) heavy speech overlaps, (2) severe noise and reverberation, (3) very natural conversational content, and possibly (4) insufficient training data. As an example of a dinner party scenario, we have chosen the data presented during the CHiME-5 speech recognition challenge, where the baseline ASR had a 73.3% word error rate (WER), and even the best performing system at the CHiME-5 challenge had a 46.1% WER. We extensively investigated a combination of the guided source separation-based speech enhancement technique and an already proposed strong ASR backend and found that a tight combination of these techniques provided substantial accuracy improvements. Our final system achieved WERs of 39.94% and 41.64% for the development and evaluation data, respectively, both of which are the best published results for the dataset. We also investigated with additional training data on the official small data in the CHiME-5 corpus to assess the intrinsic difficulty of this ASR task.

研究の動機と目的

• 重い話者重なり、混浊、ノイズを伴う困難なCHiME-5ディナーパarty状況向けに最先端のASRシステムを開発すること。
• CHiME-5で高いWERが発生するのは、データ不足に起因するのか、それとも話者重なりや混浊などの本質的音響的課題に起因するのかを調査すること。
• この困難な環境下で、音響モデル（AM）および言語モデル（LM）に大規模な学習データを用いる影響を評価すること。
• マルチターゲット、ノイズ多き、混浊環境において、高度な音声強調（GSS）と強力なASRバックエンドを組み合わせることの有効性を示すこと。

提案手法

• 空間混合モデルと時間アノテート済みの音源活動を用いて、ビームフォーミングのためのターゲットおよび歪みマスクを推定するガイド付きソース分離（GSS）を適用した。
• WPE（重み付き予測誤差）を混浊除去に、MVDRビームフォーミングとブラインドアナリティカル正規化ポストフィルタを組み合わせて、ロバストな音源抽出を実現した。
• GSSによる強化音声出力を、LF-sMBRトレーニングを用いたCNN-TDNN-RBiLSTMアーキテクチャに基づく強力なASRバックエンドに統合した。
• 公式の言語モデルを用い、開発セットのチューニングにより、LM性能最適化のための微調整された補間重みを設定した。
• より大きな学習データの影響を評価するため、LibriSpeechベースのAM（960時間）をトレーニングし、AMIとLibriSpeechの発話文を統合（最大1060万語）してLM事前学習を行った。
• 公式CHiME-5学習データ（40時間）を用いたアブレーションスタディを実施し、より大規模なデータと比較することで、データ不足の影響を分離した。

Figure 2: Overview of CNN-TDNN-RBiLSTM acoustic model

実験結果

リサーチクエスチョン

• RQ1 ガイド付きソース分離と強力なASRバックエンドの密な統合により、CHiME-5ディナーパーティー状況でのWERが顕著に改善されるか？
• RQ2 CHiME-5における高いWERは、訓練データ不足に起因するのか、それとも話者重なりや混浊などの本質的音響的課題に起因するのか？
• RQ3 この困難な環境下で、公式でない大規模コーパスを用いてトレーニングされたより大きな音響モデルおよび言語モデルは、性能にどのように影響を与えるか？
• RQ4 ノイズや混浊といった深刻な環境劣化が存在する状況では、大規模データスケールによる性能向上が飽和するか？

主な発見

• 統合システムは開発セットで39.94% WER、評価セットで41.64% WERを達成し、CHiME-5データセットにおいてこれまでに発表された結果の中で最高であった。
• 960時間のデータでトレーニングされた非常に強力なLibriSpeechベースのAMでさえ、WERが62.09%に留まったことから、データ量だけでは根本的な課題が解決されないことが示された。
• AMIとLibriSpeechコーパスから1060万語のデータを用いてトレーニングされた最良の言語モデルは、ベースラインと比較してWERをたった0.93%しか低下させず、大規模LMデータの恩恵は限定的であることが示唆された。
• CHiME-5タスクの本質的困難さは、重い話者重なり、混浊、ノイズといった音響的条件に起因しており、データ不足によるものではない。
• GSSと強力なASRバックエンドの組み合わせは、ベースラインシステムを著しく上回り、強化と認識モジュールのエンドツーエンド統合の価値を実証した。
• 結果から、現在のASRシステムは現実世界のマルチターゲット、ノイズ多き環境では人間レベルの性能に大きく到達していないことが明らかになった。これにより、耐障害性の高い音声認識分野におけるさらなる研究の必要性が浮き彫りになった。