[論文レビュー] The USTC-NEL Speech Translation system at IWSLT 2018

Dan Liu, Junhua Liu+6 more|arXiv (Cornell University)|Dec 6, 2018

Natural Language Processing Techniques参考文献 1被引用数 17

ひとこと要約

本論文は、USTC-NELが開発したハイブリッドパイプライン型音声翻訳システムを提示しており、データ拡張とテキスト正規化を回避することで、自動音声認識（ASR）出力に直接ニューラル機械翻訳（NMT）モデルを訓練することにより翻訳性能を向上させている。このシステムは、IWSLT 2018でKITベースラインに対して14.9 BLEUの向上を達成し、テキスト正規化を施した標準パイプラインシステムやエンドツーエンドモデルを上回っている。ASRが生成するテキストをNMTの学習に活用し、拡張データと文の再セグメンテーションを組み合わせることで、性能を向上させている。

ABSTRACT

This paper describes the USTC-NEL system to the speech translation task of the IWSLT Evaluation 2018. The system is a conventional pipeline system which contains 3 modules: speech recognition, post-processing and machine translation. We train a group of hybrid-HMM models for our speech recognition, and for machine translation we train transformer based neural machine translation models with speech recognition output style text as input. Experiments conducted on the IWSLT 2018 task indicate that, compared to baseline system from KIT, our system achieved 14.9 BLEU improvement.

研究の動機と目的

• 従来の音声翻訳パイプラインにおける誤り蓄積を軽減し、ASRと機械翻訳部の間のアライメントを改善すること。
• テキスト正規化を施さずに、生のASR出力に直接NMTモデルを訓練することで性能向上が図れるかを検討すること。
• データ拡張および文の再セグメンテーションが音声翻訳品質向上に与える有効性を評価すること。
• データ拡張を施したNMTを用いたパイプラインシステムとエンドツーエンド音声翻訳モデルの性能を比較すること。
• IWSLT 2018の音声翻訳ベンチマークで最先端の結果を達成すること。

提案手法

• CNNとLSTMアーキテクチャを組み合わせたハイブリッドHMM ASRモデルを採用し、フォースドアライメントと信頼度フィルタリングを用いてTED-LIUM2およびIWSLTデータで学習した。
• ラベルなし音声データ（166時間）を初期ASRモデルでトランスクリプトし、信頼度でフィルタリングすることで学習データを拡張した。
• ノイズ注入とスピード変更（要因0.8および1.2）を用いたデータ拡張により、有効な学習データが約2,100時間に増加した。
• WMT 2018のモノリンガルデータとドメイン適応型フィルタリングを用いて、TransformerアーキテクチャのNMTモデルをASR出力上で学習した。
• ASR出力後に文の再セグメンテーションを適用し、意味的に整合性のある断片に長発話文を分割することで翻訳品質を向上させた。
• 複数のモデル（L2R、R2L、テキスト正規化、エンドツーエンドモデル）の仮説を統合するアンサンブルデコード戦略を採用し、言語モデルおよびNMTモデルによる再スコアリングが可能となった。

実験結果

リサーチクエスチョン

• RQ1 テキスト正規化を施さずに、生のASR出力に直接NMTモデルを訓練することで、音声翻訳性能が向上するか？
• RQ2 ASR出力に対するデータ拡張が、エンドツーエンドおよびパイプライン型音声翻訳システムの性能に与える影響は？
• RQ3 ASR出力に基づく文の再セグメンテーションは、VADベースのセグメンテーションと比較して翻訳品質を向上させるか？
• RQ4 データ拡張を施したパイプラインシステムの性能は、IWSLT 2018におけるエンドツーエンド音声翻訳モデルと比較してどうなるか？
• RQ5 多様なデコード戦略と再スコアリングを用いたモデルアンサンブルは、BLEUスコアを顕著に向上させるか？

主な発見

• 提案されたデータ拡張ベースのパイプラインシステムは、IWSLT 2018のテストセットで平均30.26 BLEUを達成し、KITベースライン（15.32 BLEU）に対して14.9 BLEUの向上を示した。
• 文の再セグメンテーションとデータ拡張を適用したシステム（平均28.76 BLEU）は、テキスト正規化を施したシステム（平均27.41 BLEU）を上回った。
• 最も優れたアンサンブルシステム（複数のモデルと言語モデル・エンドツーエンドモデルによる再スコアリングを統合）は、平均30.26 BLEUを達成し、エンドツーエンドシステム（21.52 BLEU）を顕著に上回った。
• 生のASR出力にデータ拡張を施したNMTモデルは28.76 BLEUを達成し、テキスト正規化と文の再セグメンテーションを施したシステムより1.3 BLEU高いスコアを記録した。
• 文の再セグメンテーションとデータ拡張を両方適用したシステムは、tst2010で28.98、tst2013で30.69、tst2015で25.99を記録し、テストセット全体で一貫した向上を示した。
• 最終的な主要システム（30.26 BLEU）は、対照的なエンドツーエンドシステム（21.52 BLEU）を上回り、データ拡張を施したパイプラインシステムがこのベンチマークではエンドツーエンドモデルを上回ることを示した。