[論文レビュー] Code-Switching without Switching: Language Agnostic End-to-End Speech Translation

Christian Huber, Enes Yavuz Ugan+1 more|arXiv (Cornell University)|Oct 4, 2022

Speech Recognition and Synthesis被引用数 8

ひとこと要約

本稿では、言語識別やパイプライン処理を不要とする、一元的で統合的なシステムに統合された、言語に依存しないエンド・ツー・エンド音声翻訳（LAST）モデルを提案する。多言語音声入力を明示的な言語タグなしで学習させることで、単語単位の性能と同等の性能を達成するとともに、遅延を低減し、コードスイッチィング（CS）に対する耐性を向上させる。文間コードスイッチィングでは7.3 BLEUの向上を達成し、データ拡張を用いることでさらに3.3 BLEUの向上を達成した。

ABSTRACT

We propose a) a Language Agnostic end-to-end Speech Translation model (LAST), and b) a data augmentation strategy to increase code-switching (CS) performance. With increasing globalization, multiple languages are increasingly used interchangeably during fluent speech. Such CS complicates traditional speech recognition and translation, as we must recognize which language was spoken first and then apply a language-dependent recognizer and subsequent translation component to generate the desired target language output. Such a pipeline introduces latency and errors. In this paper, we eliminate the need for that, by treating speech recognition and translation as one unified end-to-end speech translation problem. By training LAST with both input languages, we decode speech into one target language, regardless of the input language. LAST delivers comparable recognition and speech translation accuracy in monolingual usage, while reducing latency and error rate considerably when CS is observed.

研究の動機と目的

• 言語識別や分離された認識／翻訳パイプラインを不要とする、コードスイッチィングに対処するための挑戦に応えること。
• 入力言語にかかわらず、一貫した目標言語に多言語音声をデコードできる統合的エンド・ツー・エンドモデルを構築すること。
• 大規模なアノテート済みコードスイッチィングデータセットを必要とせずに、文間コードスイッチィングにおける性能を向上させること。
• 複数段階のシステムに代えて単一の統合モデルを用いることで、デプロイの簡素化と遅延の低減を図ること。
• 発話の連結を用いたデータ拡張の有効性を、コードスイッチィングの一般化能力向上の観点から評価すること。

提案手法

• 2つの言語の単語単位音声データを用いて、1つのエンド・ツー・エンドのトランスフォーマーに基づくエンコーダ・デコーダモデルを学習させ、あらゆる入力音声を1つの目標言語にデコード可能にする。
• 異なる言語の音声と発話を連結することで、新たな訓練発話を生成し、コードスイッチィングを模擬するデータ拡張戦略を採用する。
• 一般化および耐性への影響を調査するために、5% から 75% の範囲で変化する割合を用いて拡張を実施する。
• 文間コードスイッチィングを含むカスタムテストセット（tst-inter）を用いて、言語識別と分離されたASR/STモデルベースラインと比較してモデルを評価する。
• モデルの単純性を維持し、認識と翻訳の共同最適化を可能にするために、共有のエンコーダおよびデコーダアーキテクチャを採用する。
• 明示的な言語タグや言語固有のコンponentを必要とせずに、混合言語入力を処理できるモデルの能力を活用する。

実験結果

リサーチクエスチョン

• RQ1 1つのエンド・ツー・エンド音声翻訳モデルは、明示的な言語識別なしに、単語単位の音声認識性能を維持しながら、コードスイッチィングに対処できるか？
• RQ2 多言語音声入力で学習させることで、パイプラインベースのアプローチと比較して、文間コードスイッチィングに対する耐性がどのように向上するか？
• RQ3 発話の連結によるデータ拡張は、言語に依存しないモデルにおけるコードスイッチィングの一般化能力をどの程度向上させるか？
• RQ4 従来の複数段階のASR+STパイプラインと比較して、統合モデルは遅延と複雑性を低減できるか？
• RQ5 訓練時にこのようなデータが使用されていないにもかかわらず、モデルは文内コードスイッチィングに対してどの程度の性能を示すか？

主な発見

• LASTは、ベースラインモデルと同等の自動音声認識（ASR）および音声翻訳（ST）性能を、単語単位のテストセットで達成した。
• 文間コードスイッチィングテストセット（tst-inter）において、人為的にアノテートされた言語識別と分離されたASRまたはSTモデルベースラインに対して、7.3 BLEUポイントの向上を達成した。
• データ拡張戦略により、ベースラインのLASTモデルに対して3.3 BLEUポイントの向上が得られ、結果としてベースラインから10.6 BLEUポイントの向上が達成された。
• 訓練データの半分しか使用しなくても、tst-interでフルモデルとほぼ同等の性能を示したため、性能向上はデータ量ではなく文脈モデリングに起因していると示唆された。
• 明示的な言語識別やパイプラインルーティングの必要性を排除することで、低遅延を維持し、デプロイを簡素化した。
• 定性的な分析では、文内コードスイッチィングに対しては改善が認められなかったが、これは訓練時にそのようなデータが存在しないためであり、今後の研究の余地があると示唆された。