[論文レビュー] The HW-TSC's Offline Speech Translation Systems for IWSLT 2021 Evaluation

Minghan Wang, Yuxia Wang+10 more|arXiv (Cornell University)|Aug 9, 2021

Natural Language Processing Techniques参考文献 20被引用数 5

ひとこと要約

本論文は、IWSLT 2021 評価用に、スピークァー・ダイアライゼーション、ソース固有タグ（[LS], [MC], [CV]）を備えたマルチソース学習済みTransformer ASRモデル、およびWMTで事前学習しTEDでファインチューニングしたNMTモデルを組み合わせた、段階的（キャスケード）アーキテクチャのオフラインスピーチ翻訳システムを提示する。このシステムは、IWSLT 2021 テストセットで24.6 BLEUを達成し、マルチソース学習とドメイン特化型ファインチューニングの有効性を示している。

ABSTRACT

This paper describes our work in participation of the IWSLT-2021 offline speech translation task. Our system was built in a cascade form, including a speaker diarization module, an Automatic Speech Recognition (ASR) module and a Machine Translation (MT) module. We directly use the LIUM SpkDiarization tool as the diarization module. The ASR module is trained with three ASR datasets from different sources, by multi-source training, using a modified Transformer encoder. The MT module is pretrained on the large-scale WMT news translation dataset and fine-tuned on the TED corpus. Our method achieves 24.6 BLEU score on the 2021 test set.

研究の動機と目的

• 段階的アーキテクチャを用いて、IWSLT 2021 評価用に堅牢なオフラインスピーチ翻訳システムを開発すること。
• データソース固有のタグを明示的に付与することで、多様な音声ドメインにわたるASRの汎化性能を向上させること。
• 大規模なWMTニュースデータでの事前学習と、ドメイン固有のTEDコーパスでのファインチューニングにより、翻訳品質を向上させること。
• マルチソース学習とドメイン特化型ファインチューニングがASRおよびMT性能に与える影響を評価すること。
• 制約付きおよび制約なしリソースを用いて、IWSLT 2021テストセットで最先端の結果を達成すること。

提案手法

• スピークァー分離にはLIUM SpkDiarizationを用い、その後に1次元畳み込み層を用いて単語埋め込みを置き換えたTransformerベースのASRモデルを適用することで、音声特徴をよりよくモデル化する。
• マルチソース学習は、ASR学習中にソース固有タグ（[LS], [MC], [CV]）を最初のトークンとして挿入することで実現し、モデルがデータ分布とスタイルに適合するように条件づける。
• 推論時においては、IWSLTテストセットのTEDトークスタイルに一致させるために、モデルに[MC]タグでのデコードを強制する。
• MTモデルは、WMTニュース並列データとバックトランスレーションによる単語文データで事前学習し、その後TEDコーパスでドメイン適応のためのファインチューニングを実施する。
• 最終的なシステムは、モデルアンサンブルとSLT.KITツールキットによる評価を用い、BLEU、TER、BEER、CharacTERなどの指標を含む。
• すべてのモデルはAdam最適化法、学習率スケジューリング、CMVN正規化を用いて学習され、ASRではスペクトラムオーグメンテーションと4台のV100 GPUを用いて50エポックの学習が実施された。

実験結果

リサーチクエスチョン

• RQ1 明示的なソースタグによるマルチソース学習は、多様な音声ドメインにわたるASR性能にどのように寄与するか？
• RQ2 大規模なWMTデータでの事前学習に続いてTEDコーパスでのファインチューニングを実施することで、スピーチ翻訳にどのような影響を与えるか？
• RQ3 BLEUスコアの観点から、段階的システムはエンドツーエンドモデルと比べてどのように差がつくか？
• RQ4 マルチソース学習は、LibriSpeechでは性能を低下させる一方で、MuST-CとCoVoSTでは向上させるのはなぜか？
• RQ5 ドメイン特化型ファインチューニングは、ドメイン固有のテストセットにおける翻訳品質をどの程度向上させるか？

主な発見

• システムはIWSLT 2021テストセットで24.6 BLEUを達成し、オフラインスピーチ翻訳分野における強力な性能を示した。
• マルチソース学習により、ハイブリッド学習を用いた場合、MuST-C（15.64 vs. 17.23）およびCoVoST（29.25 vs. 31.08）におけるASR WERが顕著に改善されたが、LibriSpeechでは逆に性能が低下（3.57 vs. 3.32）した。
• TEDコーパスでのNMTモデルのファインチューニングにより、dev2010セットでのBLEUスコアが31.0から33.1に顕著に向上し、ドメイン適応の価値を裏付けた。
• マルチソースタグを用いて学習したモデルは、口語的語り口や標点処理の類似性から、特にMuST-CとCoVoSTの両ドメインでスタイル一般化性能が向上した。
• tst2018でのスコア低下（29.9 BLEU）は、講義からTEDトークへのドメインシフトに起因し、ドメイン外データの課題を浮き彫りにした。
• 2つのファインチューニッシュドNMTモデルのアンサンブルにより翻訳品質が向上し、系列生成タスクにおけるモデルアンサンブルの利点を示した。