[論文レビュー] Recent Developments on ESPnet Toolkit Boosted by Conformer

Pengcheng Guo, Florian Boyer+13 more|arXiv (Cornell University)|Oct 26, 2020

Speech Recognition and Synthesis参考文献 31被引用数 40

ひとこと要約

本論文は ESPnet 内の Conformer アーキテクチャを ASR、ST、SS、TTS に拡張し、公開コーパスの多くで Transformer に対して一貫した利得を示し、再現可能なレシピとトレーニングのヒントを提供する。

ABSTRACT

In this study, we present recent developments on ESPnet: End-to-End Speech Processing toolkit, which mainly involves a recently proposed architecture called Conformer, Convolution-augmented Transformer. This paper shows the results for a wide range of end-to-end speech processing applications, such as automatic speech recognition (ASR), speech translations (ST), speech separation (SS) and text-to-speech (TTS). Our experiments reveal various training tips and significant performance benefits obtained with the Conformer on different tasks. These results are competitive or even outperform the current state-of-art Transformer models. We are preparing to release all-in-one recipes using open source and publicly available corpora for all the above tasks with pre-trained models. Our aim for this work is to contribute to our research community by reducing the burden of preparing state-of-the-art research environments usually requiring high resources.

研究の動機と目的

• Conformer を多様なエンドツーエンドの音声タスク（ASR、ST、SS、TTS）に拡張し、Transformer と比較してベンチマークを行う。
• 実践的な学習率、カーネルサイズ、アーキテクチャなどのトレーニング指針と再現可能なレシピを提供する。
• 公開コーパス上の良訓練済みモデルを提供し、最先端実験の壁を低くする。

提案手法

• Conformer エンコーダを説明（MHSA、CONV、2 つの FFN、および pre-norm を伴う Conformer ブロック）を記述する。
• Transformer-XL の相対位置エンコーディングを用いる。
• Macaron-Net スタイルを、半ステップ FFN で MHSA と CONV を挟み、ドロップアウト付きの層正規化を適用する。
• ASR および ST タスクのために Conformer エンコーダと Transformer デコーダを組み合わせる。
• 結合 CTC-アテンション目的で学習し、任意の LM リスコアリングを適用する。
• 25 の ASR コーパス、1 つの ST コーパス、1 つの SS コーパス、3 つの TTS コーパスを対象に評価し、広範なアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 Conformer は多様なエンドツーエンドの音声タスクとコーパス全体で一貫して Transformer を上回るか？
• RQ2 ASR、ST、SS、TTS で Conformer の性能を最大化するトレーニングのヒントとアーキテクチャの選択は何か？
• RQ3 Conformer ベースの CTC/Transducer 変種はデコーダなしで利点をもたらすか？
• RQ4 低資源およびマルチスピーカー環境で Conformer の性能は Transformer と比べてどうか？
• RQ5 再現可能な ESPnet2 レシピと事前学習済みモデルはコミュニティの研究を加速できるか？

主な発見

• Conformer は 17 件中 14 件のオープンソース ASR コーパスで Transformer を上回り、いくつかのデータセットで最先端の結果を達成する。
• WSJ-2mix（マルチスピーカー）で Transformer に対し約 7% 相対的改善をもたらす。
• 低資源言語で顕著な利得を提供し、8 言語で Transformer に対して 15% 以上の相対改善。
• Pure Conformer-CTC および Conformer-Transducer 変種が Transformer のベースラインより改善を示す。
• 音声翻訳では、Fisher-CallHome Spanish で Transformer に対して BLEU を約 10% 相対的に改善。
• Conformer-uPIT ベースの SS および Conformer ベースの TTS は Transformer ベースのシステムより一貫した利得を示す。）