[論文レビュー] ESPnet-ST: All-in-One Speech Translation Toolkit

Hirofumi Inaguma, Shun Kiyono+5 more|arXiv (Cornell University)|Apr 21, 2020

Natural Language Processing Techniques参考文献 47被引用数 9

ひとこと要約

ESPnet-ST は、エンドツーエンドとカスケード型音声翻訳（ST）を1つのフレームワーク内で統合する包括的ツールキットであり、自動音声認識（ASR）、機械翻訳（MT）、音声合成（TTS）モジュールを統合している。統一されたトレーニングおよびデコードパイプラインと事前学習モデルを用いて、1つのGPUで2日以内に、複数のSTベンチマークで再現可能で最先端のパフォーマンスを達成する。

ABSTRACT

We present ESPnet-ST, which is designed for the quick development of speech-to-speech translation systems in a single framework. ESPnet-ST is a new project inside end-to-end speech processing toolkit, ESPnet, which integrates or newly implements automatic speech recognition, machine translation, and text-to-speech functions for speech translation. We provide all-in-one recipes including data pre-processing, feature extraction, training, and decoding pipelines for a wide range of benchmark datasets. Our reproducible results can match or even outperform the current state-of-the-art performances; these pre-trained models are downloadable. The toolkit is publicly available at https://github.com/espnet/espnet.

研究の動機と目的

• エンドツーエンドとカスケード型音声翻訳（ST）システムを1つの相互運用可能なフレームワークでサポートする統合ツールキットの不足を解消すること。
• データ前処理、特徴抽出、トレーニング、推論のための完全でコーパス固有のレシピを提供することで、迅速なプロトタイピングと再現可能な研究を可能にすること。
• ASR、MT、TTSの共有コンponentsを用いて、E2E-ST および Cascade-ST ワークフローをシームレスに統合し、モデルの混合とトランスファー学習を可能にすること。
• 追加データを必要とせず、主要なSTベンチマークで最先端の結果を達成するか、それを上回るパフォーマンスを示す、高精度で事前チューニング済みのモデルを提供すること。
• ESPnetの実証済みアーキテクチャに基づく統一的かつ拡張可能なコードベースを提供することで、ST分野の研究者にとっての参入障壁を低くすること。

提案手法

• Kaldiをインspiredした段階的処理フレームワークを用いて、ASR、MT、TTS、STモジュールを1つの統一されたコードベースに統合する。
• Transformerベースのエンコーダーとデコーダーを備えた、sequence-to-sequence（S2S）アーキテクチャに基づくエンドツーエンドSTモデルを提供する。
• ASRとSTヘッドを同時に学習するマルチタスク学習（MTL）や、事前学習済みASRモデルをST用に微調整するトランスファー学習をサポートする。
• SpecAugment やスピード変更などのデータ拡張技術を採用し、コーパスに応じて1k、または5k/8kの語彙サイズを持つBPEを用いる。
• 1つのレシピごとに1つのスクリプト（run.sh）を提供し、すべてのSTタスクにおいてコーパス準備、特徴抽出、トレーニング、デコードを自動化する。
• YAML形式の設定ファイル（conf/train.yaml および conf/decode.yaml）を用いて、トレーニングおよび推論の設定を柔軟にカスタマイズ可能にする。

実験結果

リサーチクエスチョン

• RQ1 統一されたツールキットは、一貫したパイプラインを用いてエンドツーエンドおよびカスケード型音声翻訳システムの開発を簡素化できるか？
• RQ2 マルチタスク学習およびトランスファー学習は、多様なベンチマークでエンドツーエンドSTのパフォーマンスをどの程度向上させられるか？
• RQ3 ESPnet-STでトレーニングされたE2E-STモデルの性能は、BLEUスコアおよびトレーニング効率の観点から、最先端のシステムと比較してどうか？
• RQ4 同じツールキットが、高リソースおよび低リソースのSTシナリオ、さらには絶滅危惧言語の設定を効率的にサポートできるか？
• RQ5 ハイパーパramータチューニングおよびモデルアーキテクチャの選択が、統一フレームワーク内でのSTシステムのパフォーマンスにどのように影響するか？

主な発見

• Fisher-CallHomeスペイン語（Es→En）において、ESPnet-STは最先端または競争力のあるパフォーマンスを達成し、1〜2日間（1GPU）でトレーニングが完了する一方で、16GPUを用いた既存手法は2.5週間以上を要する。
• Libri-trans（En→Fr）では、標準の100時間分の英語音声データと拡張されたフランス語翻訳文のみを用いても、E2E-STモデルが競争力のあるBLEUスコアを達成した。
• How2（En→Pt）では、従来のRNNベースのモデルを上回る性能を示し、YouTube風音声翻訳においてTransformerベースのモデルの有効性を裏付けた。
• Must-C（En→8言語）では、全8言語方向で前人未到の高い性能を達成し、tst-COMMONセットで強力なセンシティブなBLEUスコアを記録した。
• IWSLT16（En↔De）におけるMT実験では、ESPnet-STのTransformerモデル性能はFairseqとほぼ同一であり、信頼性が高く、ハイパーパramータへの感受性も適切に管理されていることが確認された。
• ツールキットは高速な推論（RTF 0.7755）を実現し、インタラクティブデモのデプロイも可能であり、リアルタイム応用における実用性を示した。