[論文レビュー] Improving Code-switching Language Modeling with Artificially Generated Texts using Cycle-consistent Adversarial Networks

Chia-Yu Li, Ngoc Thang Vu|arXiv (Cornell University)|Dec 12, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、コードスイッチングを話し方のスタイルとみなして、単語言語文から人工的なコードスイッチドテキストを生成する、CycleGANベースのフレームワークを提案する。この手法により、SEAMEコーパスにおける言語モデル化と自動音声認識（ASR）性能が顕著に向上する。平行データを必要としないサイクル整合性のある敵対的訓練を活用することで、スタントや混合言語分布を含む、より自然で言語的に整合性のあるコードスイッチドテキストが生成され、実際の話し方のパターンを模倣する。

ABSTRACT

This paper presents our latest effort on improving Code-switching language models that suffer from data scarcity. We investigate methods to augment Code-switching training text data by artificially generating them. Concretely, we propose a cycle-consistent adversarial networks based framework to transfer monolingual text into Code-switching text, considering Code-switching as a speaking style. Our experimental results on the SEAME corpus show that utilising artificially generated Code-switching text data improves consistently the language model as well as the automatic speech recognition performance.

研究の動機と目的

• コードスイッチングの言語モデル化におけるデータ不足を解消するため、合成学習データを生成すること。
• データ拡張を用いて、コードスイッチド音声の自動音声認識（ASR）性能を向上させること。
• コードスイッチングを翻訳タスクではなく話し方のスタイルとしてモデル化することで、エンドツーエンドの学習を可能にすること。
• より自然で言語的に整合性のあるコードスイッチドテキストを生成し、実際の話し方のパターン（例：滑らかさや抑揚）を模倣すること。
• サイクル整合性のある敵対的訓練が言語モデル化およびASR性能に与える影響を評価すること。

提案手法

• フレームワークは、単語言語文からコードスイッチドへの翻訳マッピングを事前学習するためのシーケンス・ツー・シーケンス（S2S）モデルを用いる。
• サイクル整合性のある敵対的訓練を用いて、平行な単語言語文-コードスイッチドペアを必要とせずに、単語言語文テキストをコードスイッチドテキストに変換する。
• 分布の類似性とサイクル整合性を強制するために、2つのジェネレータ（G：単語言語文 → コードスイッチド、F：コードスイッチド → 単語言語文）と2つの識別器を採用する。
• 敵対的損失、サイクル整合性損失、アイデンティティ損失を組み合わせた訓練目的を用いることで、意味の保存と生成品質の向上を図る。
• 単語言語文データを用いてS2Sモデルを事前学習し、その後CycleGANフレームワーク内で微調整することで、スタイル変換の性能を向上させる。
• フレームワークはSEAMEコーパス上で評価され、生成されたテキストの分布とベースラインとのASR性能を比較した。

Figure 1: Network architecture of CycleGAN for CS text generation. X refers to monolingual text, e.g. Chinese and Y refers to CS text, e.g. Chinese English CS sentences.

実験結果

リサーチクエスチョン

• RQ1 コードスイッチングは、合成学習データを生成するために話し方のスタイルとして効果的にモデル化できるか？
• RQ2 CycleGANベースのテキスト生成は、ベースラインおよびS2S手法と比較して、言語モデル化のパープレキシティを改善するか？
• RQ3 人工的に生成されたコードスイッチドテキストは、実世界のデータにおける自動音声認識（ASR）性能を向上させることができるか？
• RQ4 生成されたテキストは、実際のコードスイッチドスピーチの言語的分布（例：混合言語強度）とどの程度一致するか？
• RQ5 モデルは、スタントや繰り返しといった自然な話し方の行動をどの程度模倣できるか？

主な発見

• CycleGANベースのモデルは、ASR評価セットで21.9%の語誤り率（WER）を達成し、ベースライン（22.4%）およびS2S（22.1%）より0.5%改善し、一貫したASR性能向上を示した。
• CycleGANで生成されたデータを用いた言語モデル化のパープレキシティは10.39に低下し、すべてのサイクル損失重みにおいてベースラインおよびS2Sモデルを上回った。
• CycleGANで生成されたテキストのコード混合強度（CMI）の分布は、実際のSEAMEコーパスとよく一致しており、特に(30,45]%および(45,50]%のCMI範囲で顕著であった。
• CycleGANで生成されたテキストは、繰り返し（例：'take take'）や意味のシフト（例：'logistics'を'2016'に置換）といった自然な話し方の特徴を示し、実際の話し方のスタイルを模倣していることが示された。
• モデルは、意味的内容を保持しつつ自然なコードスイッチングパターンを導入する意味のあるコードスイッチド文を効果的に生成したが、単純な辞書置換とは異なり、自然さを実現した。
• アブレーションスタディの結果、サイクル整合性損失が極めて重要であることが判明した。最適な性能はλ₁ = 0.9で達成され、10.77%のMERを示し、サイクル損失が生成プロセスの安定化に寄与していることが示された。