[論文レビュー] The 2020 ESPnet update: new features, broadened applications, performance improvements, and future plans

Shinji Watanabe, Florian Boyer+13 more|arXiv (Cornell University)|Dec 23, 2020

Speech Recognition and Synthesis参考文献 74被引用数 6

ひとこと要約

この論文は、自動音声認識（ASR）をはるかに超えて、音声合成（TTS）、音声翻訳（ST）、音声変換（VC）、およびビームフォーミング、分離、ノイズ除去、エコー除去を含む包括的な音声強調（SE）を含むエンド・ツー・エンドの音声処理ツールキットであるESPnetの2020年版を提示する。このフレームワークは、Transformer、Conformer、および高度なデータ拡張を用いて、すべてのコンponentsを統合的・エンド・ツー・エンドで訓練可能であり、ESPnet2を介してスケーラビリティと拡張性が向上した状態で、ベンチマーク全体で最先端のパフォーマンスを達成している。

ABSTRACT

This paper describes the recent development of ESPnet (https://github.com/espnet/espnet), an end-to-end speech processing toolkit. This project was initiated in December 2017 to mainly deal with end-to-end speech recognition experiments based on sequence-to-sequence modeling. The project has grown rapidly and now covers a wide range of speech processing applications. Now ESPnet also includes text to speech (TTS), voice conversation (VC), speech translation (ST), and speech enhancement (SE) with support for beamforming, speech separation, denoising, and dereverberation. All applications are trained in an end-to-end manner, thanks to the generic sequence to sequence modeling properties, and they can be further integrated and jointly optimized. Also, ESPnet provides reproducible all-in-one recipes for these applications with state-of-the-art performance in various benchmarks by incorporating transformer, advanced data augmentation, and conformer. This project aims to provide up-to-date speech processing experience to the community so that researchers in academia and various industry scales can develop their technologies collaboratively.

研究の動機と目的

• エンド・ツー・エンドの自動音声認識（ASR）をはるかに超えて、幅広い音声処理アプリケーションをサポートするためのESPnetの拡張。
• 音声強調（フロントエンド）とASR/TTS/STモデル（バックエンド）を統合的・エンド・ツー・エンドで訓練可能にすることで、パフォーマンスの向上とデプロイメントの簡素化を実現。
• 分散学習とリアルタイム波形から特徴抽出を可能にするESPnet2の導入により、システムのスケーラビリティと保守性を向上。
• Conformer、Transformer、データ拡張、RNN-Transducerなどの高度な技術を支援し、ASRおよびTTSのパフォーマンスを向上。
• WSJ0-2mixを含む複数のベンチマークで最先端の結果を再現可能かつワンストップで提供するレシピの提供。

提案手法

• フレームワークは、ASR、TTS、ST、VC、SEを含む多様な音声アプリケーションを、単一のエンド・ツー・エンド訓練パラダイムに統合する汎用的なシーケンス・ツー・シーケンスモデリングアプローチを採用。
• ESPnet2は、分散学習、リアルタイム波形から特徴への変換、大規模学習におけるメモリ管理の改善を特徴とする新規訓練システムを導入。
• 音声強調モジュールは完全に微分可能に実装されており、信号レベルまたはASRベースの目的関数を用いたエンド・ツー・エンド最適化が可能。
• MVDR、WPD、wMPDRなどのニューラル・ビームフォーマーとマスキングネットワークを用いてマルチチャネル音声分離・強調を実現し、ASR損失と共同最適化。
• 強調と認識の共同訓練は、パーミュテーション不変トレーニング（PIT）を用いた複数話者状況に適した、共有最適化を伴う直列パイプラインにより実現。
• DNNベースのWPEエコー除去の統合を可能とし、ASR目的関数とエンド・ツー・エンドで訓練可能にすることで、エコー除去と認識の共同最適化を実現。

実験結果

リサーチクエスチョン

• RQ1 ASR、TTS、ST、VC、音声強調を含む多様な音声処理タスクを統合的エンド・ツー・エンドフレームワークでサポートするにはどう設計すべきか？
• RQ2 ESPnet2は、大規模音声処理モデルにおける学習スケーラビリティ、メモリ効率、拡張性にどのような向上をもたらすか？
• RQ3 音声強調とASRモジュールのエンド・ツー・エンド共同訓練は、複数話者環境やノイズ環境において、従来のパイプライン手法を上回るか、同等のパフォーマンスを達成できるか？
• RQ4 Conformer や Transformer といった高度なアーキテクチャに加え、データ拡張を組み合わせることで、複数の音声処理ベンチマークにおけるパフォーマンスがどの程度向上するか？
• RQ5 ビームフォーミング、分離、ノイズ除去、エコー除去といった異なる音声強調技術を、単一で統合的かつ微分可能なフレームワークに統合することは、どの程度有効か？

主な発見

• ESPnetは、TTS、ST、VC、およびビームフォーミング、分離、ノイズ除去、エコー除去を含む高度な音声強調を含む、幅広いエンド・ツー・エンド音声アプリケーションを統合的に訓練可能にサポートしている。
• ESPnet2の導入により、システムのスケーラビリティが顕著に向上し、分散学習と生波形からのリアルタイム特徴抽出が可能になり、従来のメモリ制限問題が解消された。
• 強調と認識モジュールの共同訓練は、WSJ0-2mixなどのベンチマークデータセットにおいて、ベースラインパイプラインシステムと同等またはそれ以上のパフォーマンスを達成した。
• Conformer、Transformer、データ拡張技術の活用により、複数のASRおよびTTSベンチマークで最先端のパフォーマンスが達成された。
• 完全に微分可能な音声強調モジュール（BeamformerNet や DNN-WPE を含む）により、信号レベルまたはASRベースの目的関数を用いたエンド・ツー・エンド最適化が可能になった。
• 2020年12月時点で、GitHubで3,100スター、321件の引用を記録し、コミュニティの広範な採用と活発な開発を示している。