[論文レビュー] Improving the Robustness of Speech Translation

Xiang Li, Haiyang Xue+4 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 28被引用数 14

ひとこと要約

本稿では、清澄な学習データにASR固有のノイズを注入し、補助特徴として中国語のピンインを組み込むことで、音声翻訳におけるニューラル機械翻訳（NMT）のロバスト性を向上させる単純ながら効果的な手法を提案する。この手法は、ノイズのある入力に対して顕著な性能向上を示し、平均してBLEUスコアを3.12ポイント向上させる一方で、クリーンなテストセットでも一般化性能が向上する。

ABSTRACT

Although neural machine translation (NMT) has achieved impressive progress recently, it is usually trained on the clean parallel data set and hence cannot work well when the input sentence is the production of the automatic speech recognition (ASR) system due to the enormous errors in the source. To solve this problem, we propose a simple but effective method to improve the robustness of NMT in the case of speech translation. We simulate the noise existing in the realistic output of the ASR system and inject them into the clean parallel data so that NMT can work under similar word distributions during training and testing. Besides, we also incorporate the Chinese Pinyin feature which is easy to get in speech translation to further improve the translation performance. Experiment results show that our method has a more stable performance and outperforms the baseline by an average of 3.12 BLEU on multiple noisy test sets, even while achieves a generalization improvement on the WMT'17 Chinese-English test set.

研究の動機と目的

• ASRによって生成されたトランスクリプションに含まれる音声的誤りが多く発生する状況下で、ニューラル機械翻訳（NMT）のロバスト性のギャップを是正すること。
• 訓練時にASR固有のノイズをシミュレートすることで、現実的なASR出力に基づくNMTのトレーニングに必要なデータ不足問題を克服すること。
• 中国語のピンインなどの言語的特徴を組み込むことで、ASR誤りの度合いが異なる状況下でもNMTの一般化性能と安定性を向上させること。
• アーキテクチャの変更や敵対的訓練を必要とせず、計算効率が高く実用的導入が可能な手法を開発すること。

提案手法

• 各トレーニングイテレーションにおいて、音声的に類似する文字や同音字に置き換えることで、クリーンな並列学習データにASR固有のノイズをランダムに注入する。
• 音声的類似度に基づく4つのノイズトークン選択戦略を定義し、同音字や一般的なASR誤りパターンを含む。
• 文字レベルの表現と音節レベルのピンイン特徴を統合するピンイン対応埋め込み層を導入し、ノイズ下でも意味的整合性を高める。
• 損失関数の変更や事前学習を必要とせず、標準的な目的関数を用いてNMTモデルをエンドツーエンドで訓練する。
• 希少な音声-翻訳ペairを用いるのではなく、大規模な書記体並列コーパスを活用することで、スケーラブルなデータ拡張を実現する。
• 実世界のASR誤りパターンを模倣する多様なノイズ分布を用いてトレーニングすることで、さまざまなノイズレベルにわたるロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 NMTのトレーニング時にASR固有のノイズを注入することで、クリーンデータの性能に悪影響を与えることなく、ASR出力にノイズが含まれる場合のロバスト性を向上させることができるか？
• RQ2 補助入力特徴として中国語のピンインを組み込むことで、ASR誤り下でのNMTのロバスト性と翻訳品質にどのような影響を与えるか？
• RQ3 提案手法は、テストセットにおけるノイズの深刻度にかかわらず一般化可能か？
• RQ4 異なる誤り率を示す複数のテストセットにおいて、安定した性能向上を達成できるか？
• RQ5 効率性と有効性の観点から、従来のノイズ注入法や敵対的訓練法と比較して、本手法はどのように優れているか？

主な発見

• 提案手法は、複数のノイズを含むテストセットにおいて、ベースラインと比較して平均3.12 BLEUポイントのNMT性能向上を達成した。
• ロバストなNMTシステムは、極めてノイズの強いテストセットにおいても2.72 BLEUのスコアを達成し、クリーンテストセットの2.9 BLEUに近く、高い安定性を示した。
• 一般化性能が向上し、クリーンなWMT’17中国語-英語テストセットでも性能向上を達成した。これは、モデル全体の表現能力が向上したことを示している。
• 異なるノイズレベルにおいても安定した性能を維持し、高誤り率のテストセットでは2.72 BLEUのスコアを達成した一方で、ベースラインは2.01 BLEUにとどまった。
• ピンイン特徴の統合により、同音字誤りからの回復能力が顕著に向上したことが、実世界の事例研究で示された。
• 敵対的訓練や事前学習を必要とせず、クリーンデータの性能を損なうノイズ注入手法よりも優れた性能を達成した。