[論文レビュー] Self-Supervised Representations Improve End-to-End Speech Translation

Anne Wu, Changhan Wang+2 more|arXiv (Cornell University)|Jun 22, 2020

Natural Language Processing Techniques参考文献 31被引用数 4

ひとこと要約

本論文は、自己教師あり音声表現—特に wav2vec、vq-wav2vec、BERT特徴量—が、高資源および低資源設定の両方において、エンドツーエンドの音声翻訳（ST）性能を顕著に向上させることを示している。これらの特徴量は、英語のラベルなしデータで事前学習され、最小限のチューニングで他の言語へ効果的に転送可能であり、ASR事前学習と組み合わせることで、特に低資源状況において性能が向上する。

ABSTRACT

End-to-end speech-to-text translation can provide a simpler and smaller system but is facing the challenge of data scarcity. Pre-training methods can leverage unlabeled data and have been shown to be effective on data-scarce settings. In this work, we explore whether self-supervised pre-trained speech representations can benefit the speech translation task in both high- and low-resource settings, whether they can transfer well to other languages, and whether they can be effectively combined with other common methods that help improve low-resource end-to-end speech translation such as using a pre-trained high-resource speech recognition system. We demonstrate that self-supervised pre-trained features can consistently improve the translation performance, and cross-lingual transfer allows to extend to a variety of languages without or with little tuning.

研究の動機と目的

• 自己教師あり事前学習音声表現が、高資源および低資源設定の両方においてエンドツーエンドの音声翻訳性能を向上させるかどうかを調査すること。
• これらの表現が、追加のチューニングなしに低資源言語へどのようにクロスリンガル転送可能かを評価すること。
• 自己教師あり特徴量と事前学習済みASRシステムを組み合わせることで、低資源STにおける効果性を検証すること。
• 事前学習手法を用いる場合、ASR性能が下流のST性能の信頼できる予測子であるかどうかを評価すること。

提案手法

• 自己教師あり事前学習手法を用いた：wav2vec（対照的予測コーディング）、vq-wav2vec（ベクトル量子化表現）、BERT（離散化表現上で）。
• これらの事前学習済み特徴量を、注意機構付きの双方向LSTMエンコーダデコーダモデルにおける入力表現として適用し、STに使用した。
• 事前学習済みBERTモデルをエンコーダとして用いるハイブリッドBERTバックボーンアーキテクチャを検討した。
• ターゲット言語（例：フランス語、中国語）のCommon Voiceデータ上で、事前学習済み特徴量を微調整し、クロスリンガル転送を改善した。
• 英語およびターゲット言語データで学習した事前学習済みASRモデルを用いて、STエンコーダをウォームスタートさせ、低資源設定における一般化性能を向上させた。
• すべての実験で比較のためのベースラインとして、ログメルフィルタバンクを用いた。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり音声表現は、高資源および低資源設定の両方において、エンドツーエンドの音声翻訳性能を向上させることができるか？
• RQ2 自己教師あり特徴量は、追加のチューニングなしに、低資源言語へどの程度効果的に転送可能か？
• RQ3 自己教師あり特徴量とASR事前学習を組み合わせることで、単独で使用する場合よりも優れたST性能が得られるか？
• RQ4 事前学習タスクにおけるASR性能は、下流のST性能を信頼できる指標として使えるか？

主な発見

• wav2vec、vq-wav2vec、BERTなどの自己教師あり特徴量は、英語→XおよびX→英語の両設定において、ログメルフィルタバンクよりも一貫してST性能を向上させた。
• 英語で事前学習された特徴量を11の低資源言語へクロスリンガル転送したが、微調整なしでも性能向上が得られたが、データ量と言語的類似性に依存して性能向上の程度が変化した。
• ターゲット言語のCommon Voiceデータ上でBERT特徴量を微調整したところ、固定特徴量と比較して、Fr-En STで最大+1.3、Zh-En STで最大+1.1のBLEUスコア向上が得られた。
• 多言語ASRモデル（英語＋ターゲット言語）でSTエンコーダを事前学習した結果、英語のみでエンコーダとデコーダを事前学習した場合よりも優れたST性能が得られ、Es-En STで最大+1.6のBLEUスコア向上が得られた。
• 一部の事例では、WERが高め（例：vq-wav2vec）のASRモデルでさえ、WERが低め（例：BERT）のモデルよりも優れたST結果をもたらしたため、ASRのWERはST性能の信頼できる予測子ではないことが示された。
• BERTバックボーンアーキテクチャは、低資源設定（例：Zh-En STで6.8 BLEU）において、初期化から学習を開始するよりも優れた性能を達成したが、ASR事前学習に比べて効果はやや劣った。