[論文レビュー] ON-TRAC Consortium End-to-End Speech Translation Systems for the IWSLT 2019 Shared Task

Ha-Thanh Nguyen, Natalia Tomashenko+6 more|arXiv (Cornell University)|Oct 30, 2019

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文は、IWSLT 2019共有タスクのための、ON-TRACコンsortiumが開発したエンドツーエンド音声翻訳システムを提示する。英語からポルトガル語への翻訳を目的とし、アテンションを備えた単一のニューラルエンコーダデコーダアーキテクチャを採用している。最高のモデルは、MuST-CでBLEUスコア26.91、How2で43.82を達成し、パイプライン型ASR+MTベースラインよりそれぞれ4.77点および9.59点優れている。統合学習データと文字レベルのトークン化が最良の結果をもたらした。

ABSTRACT

This paper describes the ON-TRAC Consortium translation systems developed for the end-to-end model task of IWSLT Evaluation 2019 for the English-to-Portuguese language pair. ON-TRAC Consortium is composed of researchers from three French academic laboratories: LIA (Avignon Universit\\'e), LIG (Universit\\'e Grenoble Alpes), and LIUM (Le Mans Universit\\'e). A single end-to-end model built as a neural encoder-decoder architecture with attention mechanism was used for two primary submissions corresponding to the two EN-PT evaluations sets: (1) TED (MuST-C) and (2) How2. In this paper, we notably investigate impact of pooling heterogeneous corpora for training, impact of target tokenization (characters or BPEs), impact of speech input segmentation and we also compare our best end-to-end model (BLEU of 26.91 on MuST-C and 43.82 on How2 validation sets) to a pipeline (ASR+MT) approach.

研究の動機と目的

• IWSLT 2019共有タスクにおける英語からポルトガル語へのエンドツーエンド音声翻訳システムの開発と評価。
• 異種の音声翻訳コーパス（MuST-CとHow2）を統合することによるモデル性能への影響の調査。
• 翻訳品質における、ターゲット側トークン化戦略（文字 vs. BPE）の比較。
• ASRベースのセグメンテーションとスプーカーディアライゼーションベースのセグメンテーションの有効性の評価。
• ファインチューニングとエンドツーエンド学習が、標準的なパイプライン型ASR+MTアプローチを上回るかの評価。

提案手法

• すべての提出物に共通して、アテンション機構を備えた単一のエンドツーエンドニューラルエンコーダデコーダモデルが使用された。
• MuST-CとHow2の学習データを統合し、合計674.4時間の音声を含む統合コーパスを作成した。
• 音声入力は、サイレントベースの分割（0.65秒のしきい値、長時間のセグメントでは0.15秒に短縮）を用いたASRシステムで分割された。
• ターゲット側トークン化は、文字レベルとBPEベースの単位を用いて評価され、語彙サイズは400～8000の範囲で変更された。
• 最良の性能を示したモデルに対して、How2データセットでファインチューニングが実施され、全モデルとデコーダーのみのファインチューニング戦略が検討された。
• BPE-30kトークン化を用いた別個のASRおよびNMTシステムを用いたパイプラインベースラインが構築された。

実験結果

リサーチクエスチョン

• RQ1 MuST-CとHow2という異種コーパスを統合することで、エンドツーエンド音声翻訳の性能が向上するか？
• RQ2 文字単位とサブワード単位（BPE）のどちらがより優れたターゲット側トークン化単位か？
• RQ3 音声入力のセグメンテーションに最適な手法は何か：ASRベースかスプーカーディアライゼーションベースか？
• RQ4 ファインチューニングはエンドツーエンドモデルの性能を向上させるか？
• RQ5 エンドツーエンドモデルは、標準的なASR+MTパイプラインアプローチを上回るか？

主な発見

• MuST-CとHow2コーパスの統合により、性能が顕著に向上した。MuST-Cのtst-COMMONでBLEUスコア26.91、How2のバリデーションセットで42.97を記録した。
• 文字レベルのトークン化はMuST-Cで最良の結果をもたらし、BLEUスコア26.91を達成した。一方、How2ではBPE-400が最高のスコア（43.82）を記録した。
• ASRベースの音声セグメンテーションはスプーカーディアライゼーションベースを上回り、トレーニングデータに近いセグメント長の分布を示し、より高いBLEUスコアを達成した。
• How2データセットでのモデルファインチューニングはわずかな向上をもたらしたが、統計的に有意ではなかった。How2バリデーションセットでのスコアは、アンフリーズ時で43.02、フリーズ時で43.04であった。
• エンドツーエンドモデルは、ASRとMTコンponentsの共同最適化が行われていないにもかかわらず、MuST-Cで4.77 BLEUポイント、How2で9.59 BLEUポイント、パイプライン型ASR+MTベースラインを上回った。
• 最高性能を示したエンドツーエンドモデルは、MuST-Cで26.91（大文字・小文字区別あり）のBLEUスコア、How2で43.82のスコアを達成した。後者は評価締切後、BPE-400を用いて得られた結果である。