[論文レビュー] Consecutive Decoding for Speech-to-text Translation

Qianqian Dong, Mingxuan Wang+4 more|arXiv (Cornell University)|Sep 21, 2020

Natural Language Processing Techniques被引用数 13

ひとこと要約

本論文は、1つのデコーダー内で連続的なデコードを用いて、一括してソース音声の発話文とターゲット言語への翻訳を共同生成する統合的エンドツーエンドフレームワーク、COSTTを提案する。事前学習モデルと補助的なCTC監視を活用することで、誤り伝搬を低減し、大規模な並列MTデータを効果的に活用し、外部データを広範に必要としないにもかかわらず、3つの主要ベンチマークで最先端の性能を達成した。

ABSTRACT

Speech-to-text translation (ST), which directly translates the source language speech to the target language text, has attracted intensive attention recently. However, the combination of speech recognition and machine translation in a single model poses a heavy burden on the direct cross-modal cross-lingual mapping. To reduce the learning difficulty, we propose COnSecutive Transcription and Translation (COSTT), an integral approach for speech-to-text translation. The key idea is to generate source transcript and target translation text with a single decoder. It benefits the model training so that additional large parallel text corpus can be fully exploited to enhance the speech translation training. Our method is verified on three mainstream datasets, including Augmented LibriSpeech English-French dataset, IWSLT2018 English-German dataset, and TED English-Chinese dataset. Experiments show that our proposed COSTT outperforms or on par with the previous state-of-the-art methods on the three datasets. We have released our code at \url{https://github.com/dqqcasia/st}.

研究の動機と目的

• エンドツーエンド音声からテキストへの翻訳モデルにおける誤り伝搬とデータ利用の限界を解決すること。
• カスケード型とエンドツーエンド型のシステムの間のギャップを埋め、1つのフレームワーク内でASRとMTコンponentsの共同学習を可能にすること。
• 通常のエンドツーエンドモデルでは難しいが、大規模な並列単語語彙をエンドツーエンドST学習に効果的に活用できるようにすること。
• エンドツーエンドの利点を維持しながら、カスケード型システムのデータ効率性を組み込んだ柔軟な統合アーキテクチャを開発すること。

提案手法

• COSTTは二段階アーキテクチャを採用する：音声特徴を圧縮表現に変換する音声的・意味的（AS）段階の後、発話文と翻訳文を生成する発話文翻訳（TT）段階。
• TT段階では、1つの共有デコーダーを用いて、発話文と翻訳文を連続的なシーケンスとして生成することで、共同モデリングを実現する。
• 事前学習段階では、音素レベルのアライメントにCTC損失を適用することでASRの監視を強化するが、推論段階では音素を出力する必要がない。
• 計算コストの低減と学習安定性の向上を図るため、デコーダーにスリミング操作を適用する。
• デコーダーはASRデータで事前学習され、STデータでファインチューニング可能であり、大規模なASRおよびMT語彙からの転移学習を可能にする。
• 推論は柔軟に可能で、ASR出力はTTデコーダーの最初の部分から得られ、完全なモデルではエンドツーエンドSTが実現される。

実験結果

リサーチクエスチョン

• RQ1 大規模な並列MTデータを効果的に活用しつつ、音声認識と翻訳を統合的エンドツーエンドフレームワークで同時にモデリングできるか？
• RQ2 1つのデコーダー内で連続的デコードを採用することで、カスケード型や標準エンドツーエンドモデルと比較して誤り伝搬が低減するか？
• RQ3 音素レベルのアライメントに補助的なCTC監視を適用することで、推論段階で明示的な音素出力を必要としないにもかかわらずASR品質が向上するか？
• RQ4 カスケード型およびエンドツーエンドベースラインと比較して、本フレームワークは翻訳品質と発話文の誤りに対する耐性の面で優れているか？
• RQ5 独立したASRおよびMTデータでの事前学習により、モデルはどの程度の恩恵を受けることができるか、同時に強力なST性能を維持できるか？

主な発見

• COSTTは、3つの主要ベンチマーク（Augmented LibriSpeech英語＝フランス語、IWSLT2018英語＝ドイツ語、TED英語＝中国語）で最先端の性能を達成した。
• Augmented LibriSpeech英語＝フランス語テストセットでは、BLEUスコア18.23を達成し、3段階パイプライン（12.22）および2段階パイプライン（17.58）を上回った。
• ケーススタディでは、ベースラインモデルが見逃したり誤って翻訳した語（例：'yes' や 'aboard'）をCOSTTが正しく翻訳しており、より高い耐性を示した。
• モデルは発話文の誤り（例：'to day' が 'today' ではなく予測されても）を回復し、依然として正しい翻訳を生成でき、故障に強いことを示した。
• CTC監視とスリミング操作の活用により、学習安定性が向上し、ASRおよびMTデータでの効果的な事前学習が可能になった。
• COSTTにより、通常のエンドツーエンドSTモデルでは活用が難しい大規模な並列MT語彙が活用可能になった。