[論文レビュー] End-to-End Automatic Speech Translation of Audiobooks

Alexandre Bérard, Laurent Besacier+2 more|arXiv (Cornell University)|Feb 12, 2018

Natural Language Processing Techniques参考文献 20被引用数 126

ひとこと要約

この論文は、236時間の同期された英語音声とフランス語翻訳を含む拡張されたLibriSpeechコーパスを用いて、英語からフランス語へのオーディオブック向けエンドツーエンド自動音声翻訳（AST）モデルを提示する。音声認識（ASR）＋翻訳（MT）の段階的システムと、訓練時のみに出力言語の転写を用いるか、完全にそれを避けるエンドツーエンドモデルを比較し、事前学習とマルチタスク学習が性能向上に寄与することを示すが、実際の音声では段階的モデルが依然としてエンドツーエンドモデルを上回ることを確認した。

ABSTRACT

We investigate end-to-end speech-to-text translation on a corpus of audiobooks specifically augmented for this task. Previous works investigated the extreme case where source language transcription is not available during learning nor decoding, but we also study a midway case where source language transcription is available at training time only. In this case, a single model is trained to decode source speech into target text in a single pass. Experimental results show that it is possible to train compact and efficient end-to-end speech translation models in this setup. We also distribute the corpus and hope that our speech translation baseline on this corpus will be challenged in the future.

研究の動機と目的

• 並列音声とターゲットテキストを備えた大規模かつ現実世界のオーディオブックコーパスを用いて、エンドツーエンド音声からテキストへの翻訳を調査する。
• 訓練時のみにソース言語の転写を用いるエンドツーエンドASTモデルと、訓練時および推論時にもそれを使用しないモデルの性能を比較する。
• 新たに作成され公開されたオーディオブックコーパスを用いて、将来的なエンドツーエンドAST研究の強力なベースラインを確立する。
• 事前学習とマルチタスク学習が、コンactなエンドツーエンドASTモデルの性能向上にどの程度寄与するかを評価する。
• 限定的なソース言語の転写アクセスのもとでも、エンドツーエンドモデルが実際の音声において競争力のある性能を達成できることを示す。

提案手法

• 英語のオーディオブック音声とフランス語の電子書籍翻訳を同期させることで、LibriSpeechコーパスを拡張し、236時間の並列音声とターゲットテキストを構築する。
• 原始音声（MFCC）から階層的特徴を抽出するため、畳み込み層と双方向LSTMを組み合わせたハイブリッド音声エンコーダーを用いる。
• ターゲットテキストを1トークンずつ生成するため、条件付きLSTMとグローバルアテンション機構を備えた文字レベルのデコーダーを実装する。
• エンドツーエンドASTモデルを1つのエンコーダ-デコーダー構造で訓練し、マルチタスク学習のためにASRとMTの両方でエンコーダーとデコーダーを共有する。
• AST、ASR、MTの3つのタスクを交互に更新するマルチタスク学習を適用し、ASTに60%、ASRとMTにそれぞれ20%の更新割合を割り当てる。
• 訓練の安定性とメモリ制約を管理するため、変動ドロップアウトと入力の切り出し（音声は1400フレーム、テキストは300文字）を適用する。

実験結果

リサーチクエスチョン

• RQ1 推論時にソース言語の転写を必要としないエンドツーエンド音声からテキストへの翻訳モデルは、実際のオーディオブック音声において競争力のある性能を達成できるか？
• RQ2 訓練時にソース言語の転写が利用可能かどうかが、完全にエンドツーエンドの設定と比較してエンドツーエンドASTモデルの性能に与える影響は何か？
• RQ3 事前学習とマルチタスク学習は、大規模な実際の音声データ上で、コンパクトなエンドツーエンドASTモデルの性能をどの程度向上させるか？
• RQ4 実際のオーディオブック音声において、エンドツーエンドASTモデルの性能は段階的ASR+MTパイプラインと比べてどうか？
• RQ5 提示された拡張されたLibriSpeechコーパスは、将来的なエンドツーエンドAST研究のための実用的で挑戦的なベンチマークとして適しているか？

主な発見

• BTECの合成コーパスでは、段階的ASR+MTシステムが43.8のBLEUスコアを達成し、最高のエンドツーエンドモデル（37.9 BLEU）と事前学習モデル（40.4 BLEU）を上回った。
• 実際のオーディオブックコーパス（拡張されたLibriSpeech）では、段階的モデルが15.8 BLEUを達成したのに対し、最高のエンドツーエンドモデルは15.5 BLEUに留まり、現実世界のデータという挑戦的な状況下でも高い性能を示した。
• 事前学習は収束を著しく加速した。事前学習モデルはわずか129kステップでLibriSpeechで13.3 BLEUに達したが、エンドツーエンドモデルでは369kステップを要した。
• 事前学習と組み合わせたマルチタスク学習は性能向上をもたらさなかったため、この設定では事前学習そのものが収束を早めるのに十分であることが示唆された。
• 文字レベルのデコーダーの使用により、先行研究と比較して性能が向上した。10.4MパラメータのエンドツーエンドモデルはBTECで31.3 BLEUを達成したが、先行研究では29.1 BLEUであった。
• コーパスは困難である：Google翻訳でさえもLibriSpeechテストセットで22.2 BLEUにとどまり、実際のオーディオブック音声における高品質な翻訳は依然として困難であることを示している。