[論文レビュー] SDST: Successive Decoding for Speech-to-text Translation.

Qianqian Dong, Mingxuan Wang+4 more|arXiv (Cornell University)|Sep 21, 2020

Natural Language Processing Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、直接的なクロスモーダル・クロスリンガルマッピングの複雑さを軽減するために翻訳プロセスを段階的な手順に分離する、エンドツーエンド音声対テキスト翻訳のための逐次的デコードフレームワークSDSTを提案する。実験の結果、2つの主流のデータセットにおいて、先行する最先端手法よりも顕著な改善が得られた。

ABSTRACT

End-to-end speech-to-text translation (ST), which directly translates the source language speech to the target language text, has attracted intensive attention recently. However, the combination of speech recognition and machine translation in a single model poses a heavy burden on the direct cross-modal cross-lingual mapping. To reduce the learning difficulty, we propose SDST, an integral framework with extbf{S}uccessive extbf{D}ecoding for end-to-end extbf{S}peech-to-text extbf{T}ranslation task. This method is verified in two mainstream datasets. Experiments show that our proposed \method improves the previous state-of-the-art methods by big margins.

研究の動機と目的

• 直接的なクロスモーダルおよびクロスリンガルマッピングに起因するエンドツーエンド音声対テキスト翻訳における高い学習難易度に対処すること。
• 単一のモデル内で音声認識と機械翻訳を統合する際の複雑さを低減すること。
• 逐次的デコードを通じて翻訳品質を向上させる統合フレームワークを設計すること。
• 提案手法の有効性を確立された音声対テキスト翻訳ベンチマークで検証すること。

提案手法

• 逐次的デコードに基づくエンドツーエンド音声対テキスト翻訳フレームワークSDSTを提案する。
• 翻訳タスクを段階的なデコードステップに分解することで、クロスモーダルおよびクロスリンガルマッピングの複雑さを軽減する。
• 段階的なデコードを用いた統合アーキテクチャに音声認識と機械翻訳コンポーネントを統合する。
• 逐次的デコード戦略を採用し、翻訳出力を段階的に精錬することで、モデルの負担を軽減する。
• 標準的な自動音声認識および機械翻訳の目的関数を用いて、音声入力とターゲット言語のテキスト出力に対してエンドツーエンドでモデルを学習する。
• 注意メカニズムとシーケンスモデリングを活用し、デコード段階全体にわたり文脈を維持する。

実験結果

リサーチクエスチョン

• RQ1 逐次的デコードは、エンドツーエンド音声対テキスト翻訳における学習負担を軽減できるか？
• RQ2 SDSTは、以前の最先端モデルと比較して翻訳パフォーマンスで優れているか？
• RQ3 提案されたフレームワークは、さまざまな音声対テキスト翻訳データセットに一般化可能か？
• RQ4 翻訳プロセスを段階的なステップに分離することで、モデルの精度にどのような影響があるか？

主な発見

• SDSTは、2つの主流の音声対テキスト翻訳データセットにおいて、以前の最先端手法よりも顕著な改善を達成した。
• 逐次的デコード戦略は、直接的なクロスモーダル・クロスリンガルマッピングの複雑さを効果的に低減した。
• 学習目的を単純化する段階的デコードプロセスのおかげで、モデルは優れたパフォーマンスを示した。
• 複数のベンチマークデータセットでの検証により、フレームワークの有効性と一般化能力が確認された。