[論文レビュー] The USFD Spoken Language Translation System for IWSLT 2014

Raymond W. M. Ng, Mortaza Doulaty+8 more|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|Sep 13, 2015

Natural Language Processing Techniques参考文献 17被引用数 8

ひとこと要約

本論文は、IWSLT 2014 共同タスクにおけるシェフィールド大学（USFD）の spoken language translation（SLT）システムを提示する。このシステムは、2つの深層ニューラルネットワークベースのASRシステムと、フレーズベースのMTシステムを統合している。主な貢献は、予測された翻訳品質を用いてASRの10件の候補出力を再スコアリングする品質推定駆動型統合手法であり、主なパイプラインシステムと比較して、英語→フランス語タスクで0.54 BLEU向上、英語→ドイツ語タスクで0.26 BLEU向上を達成した。

ABSTRACT

The University of Sheffield (USFD) participated in the International Workshop for Spoken Language Translation (IWSLT) in 2014. In this paper, we will introduce the USFD SLT system for IWSLT. Automatic speech recognition (ASR) is achieved by two multi-pass deep neural network systems with adaptation and rescoring techniques. Machine translation (MT) is achieved by a phrase-based system. The USFD primary system incorporates state-of-the-art ASR and MT techniques and gives a BLEU score of 23.45 and 14.75 on the English-to-French and English-to-German speech-to-text translation task with the IWSLT 2014 data. The USFD contrastive systems explore the integration of ASR and MT by using a quality estimation system to rescore the ASR outputs, optimising towards better translation. This gives a further 0.54 and 0.26 BLEU improvement respectively on the IWSLT 2012 and 2014 evaluation data.

研究の動機と目的

• IWSLT 2014 評価用に高精度なスプoken language translationシステムを開発すること。
• 単純なパイプラインを超えて、自動音声認識（ASR）と機械翻訳（MT）システムの統合を改善すること。
• 再スコアリングされたASR出力における品質推定の有効性を検証すること。
• 信頼度しきい値と特徴量ベースの再スコアリングを用いて、システム統合を最適化すること。

提案手法

• TEDレクチャーデータと追加データを用いてトレーニングされた、2つのマルチパス深層ニューラルネットワークベースのASRシステム（ASR 1 と ASR 2）を、異なるデータサブセットとタンデム特徴量設定で学習した。
• インドメインのTEDデータと、交差エントロピー差分（CED）基準により選択されたアウトオブドメインデータ（News Commentary, Common Crawl, Gigaword, Europarl）を用いて、フレーズベースのMTモデルを学習した。
• 10件のASR出力候補を用いて、IWSLT 2011データ上で品質推定（QE）モジュールを学習し、117個のQuEst特徴量を用いて翻訳品質を予測した。
• QEモデルは、RBFカーネルを用いたガウス過程を用い、文単位のMETEORスコアとのマッピングを学習するため、117個の特徴量から上位58個を選択した。
• ASR 10件の候補出力は、予測された翻訳品質に基づいて再スコアリングされた。信頼度に基づく再スコアリングは、低信頼度の仮説にのみ適用された。
• 統合システムは、再スコアリングされたASR出力に基づいて翻訳出力を向上させ、最終的なMTデコードは再スコアリングされたASR仮説上で実行された。

実験結果

リサーチクエスチョン

• RQ1 品質推定は、スプoken language translationにおけるASRとMTシステムの統合を改善できるか？
• RQ2 IWSLT 2014 評価データ上での、予測された翻訳品質に基づくASR N-best出力の再スコアリングはどの程度有効か？
• RQ3 すべての仮説に対してグローバルな再スコアリングと比較して、信頼度に基づく再スコアリングはより優れた性能を示すか？
• RQ4 交差エントロピー差分（CED）基準によるデータ選択は、アウトオブドメインのMTおよびASR性能にどのような影響を与えるか？
• RQ5 BLEUスコアとTERスコアの観点から、システム統合は標準パイプラインと比較してどの程度優れているか？

主な発見

• 主なUSFD SLTシステムは、IWSLT 2014 英語→フランス語テストセットで23.45のBLEUスコアを達成した。また、英語→ドイツ語タスクでは14.75のBLEUスコアを記録した。
• QEベースの再スコアリングを用いた対照的システムは、主なシステムと比較して、英語→フランス語タスクで0.54 BLEU向上、英語→ドイツ語タスクで0.26 BLEU向上を達成した。
• IWSLT 2014 データ上での信頼度に基づく再スコアリングでは、低信頼度文の55％を再スコアリングした場合、0.17 BLEUスコアの向上が得られた。
• IWSLT 2012 データ上では、信頼度に基づく再スコアリングが0.36 BLEU向上を達成し、低信頼度ASR出力に対してより高い有効性を示した。
• QEモジュールは、RBFカーネルを用いたガウス過程を用いて、117個の特徴量から58個を選択した。言語的特徴量とモデル統計量が翻訳品質の強力な予測要因であることが示された。
• 単語単位の翻訳システムは、大文字と句読点を回復させ、偽ASR出力では88.0のBLEUスコア、実ASR出力では69.0のBLEUスコアを達成した。これは、ASRエラーに対して強い耐性を示している。