[論文レビュー] Fine-tuning on Clean Data for End-to-End Speech Translation: FBK @ IWSLT 2018

Mattia Antonino Di Gangi, Roberto Dessì+3 more|arXiv (Cornell University)|Oct 16, 2018

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本論文では、IWSLT 2018 英語＝ドイツ語翻訳タスク向けに、クリーニング済み学習データ上で微調整された CNN-LSTM シーケンス・トゥ・シーケンスモデルを活用する FBK のエンド・ツー・エンド音声翻訳システムを提示する。2段階のデータクリーニング（強制アラインメントおよびフレーム対文字比に基づくもの）に加え、重み正則化、ラベルスムージング、チェックポイント平均化、アンサンブルデコードを適用することで、テスト BLEU スコアは 10.24 を達成した。単一モデルでは 9.70 BLEU を達成した。

ABSTRACT

This paper describes FBK's submission to the end-to-end English-German speech translation task at IWSLT 2018. Our system relies on a state-of-the-art model based on LSTMs and CNNs, where the CNNs are used to reduce the temporal dimension of the audio input, which is in general much higher than machine translation input. Our model was trained only on the audio-to-text parallel data released for the task, and fine-tuned on cleaned subsets of the original training corpus. The addition of weight normalization and label smoothing improved the baseline system by 1.0 BLEU point on our validation set. The final submission also featured checkpoint averaging within a training run and ensemble decoding of models trained during multiple runs. On test data, our best single model obtained a BLEU score of 9.7, while the ensemble obtained a BLEU score of 10.24.

研究の動機と目的

• 公式 IWSLT 2018 学習データのみを用いて、エンド・ツー・エンド英語＝ドイツ語音声翻訳の性能を向上させること。
• 低品質な音声・翻訳ペアの特定と削除により、モデルの収束問題と学習ノイズを低減すること。
• 正則化手法とモデルアンサンブル戦略を通じて、モデルの汎化性能と耐性を向上させること。
• 低リソース音声翻訳環境下でのデータ品質および学習最適化の翻訳性能への影響を評価すること。

提案手法

• 2段階のデータクリーニングパイプラインを適用：まず、Gentle および Kaldi を用いた強制アラインメントに基づき品質が低いインスタンスを削除し、次に極端なフレーム対文字比を示すサンプルをフィルタリングした。
• fairseq ツールキットを用いて、CNN が音声特徴の時間的解像度を低下させる LSTMs と CNN を組み合わせたシーケンス・トゥ・シーケンスモデルを訓練した。
• 重み正則化とラベルスムージングを用いてモデルの安定性と性能を向上させ、検証用 BLEU を 1.0 ポイント向上させた。
• 最後の 10 個のモデルチェックポイントの平均化を実施し、最良の単一モデルを超える汎化性能を向上させた。
• 複数の独立して訓練されたモデル間でのアンサンブルデコードを用いて、さらに翻訳品質を向上させた。
• 並列データセット（Parallel）→ クリーン 1 → クリーン 2 の順に、徐々にクリーニングされたデータサブセット上で事前学習モデルを微調整することで、耐性と性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 強制アラインメントおよびフレーム対文字比に基づくデータクリーニングは、エンド・ツー・エンド音声翻訳性能にどのように影響するか？
• RQ2 重み正則化やラベルスムージングといった正則化手法は、低リソース環境下でモデルの収束性と BLEU スコアにどの程度向上効果をもたらすか？
• RQ3 全ノイズ混在データセットではなく、段階的にクリーニングされたデータサブセット上で微調整することで、一貫した性能向上が達成できるか？
• RQ4 チェックポイント平均化とアンサンブルデコードは、汎化性能とテスト性能の向上にどの程度効果的か？
• RQ5 公式 IWSLT 2018 学習データのみを制限条件として用いる場合、モデルアーキテクチャと学習戦略は BLEU スコアにどのような影響を与えるか？

主な発見

• クリーンデータサブセット（Clean 1 および Clean 2）での微調整により、検証用 BLEU が全データセット（Parallel）での 4.66 から 9.69 に向上した。これはデータ品質の価値を示している。
• 重み正則化とラベルスムージングの組み合わせにより、ベースラインモデルの検証用 BLEU が 1.0 ポイント向上した。
• 最良の単一モデルはテストで 9.70 BLEU を達成したが、4 モデルのアンサンブルではテストで 10.24 BLEU を達成した。
• 全データセット（Parallel）からクリーン 2 サブセットへの微調整により、クリーンデータで直接学習した場合と比較して 0.94 BLEU の向上が得られた。
• チェックポイント平均化により、最良モデルの検証用 BLEU が 10.63 から 10.90 に向上した。
• 4 モデルのアンサンブルデコードにより、検証用スコアは 11.60 BLEU に達し、最良の単一モデルより 1.0 BLEU の向上が確認された。