[論文レビュー] Improving Code-Switching and Named Entity Recognition in ASR with Speech Editing based Data Augmentation

Liang Zheng, Zheshu Song+4 more|arXiv (Cornell University)|Jun 14, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、エンドツーエンド自動音声認識（ASR）におけるコードスイッチングおよび固有表現抽出（NER）の性能向上を目的として、音声編集に基づくデータ拡張手法を提案する。テキストベースの音声編集モデルを用いて実際の音声を編集することで、従来の音声結合やニューラルTTS手法と比較して、より一貫性があり多様性に富み、現実的であるとされる拡張音声を生成する。その結果、ドメイン内およびドメイン外のテストセットにおいて、WERと固有表現の再現率・適合率が顕著に向上した。

ABSTRACT

Recently, end-to-end (E2E) automatic speech recognition (ASR) models have made great strides and exhibit excellent performance in general speech recognition. However, there remain several challenging scenarios that E2E models are not competent in, such as code-switching and named entity recognition (NER). Data augmentation is a common and effective practice for these two scenarios. However, the current data augmentation methods mainly rely on audio splicing and text-to-speech (TTS) models, which might result in discontinuous, unrealistic, and less diversified speech. To mitigate these potential issues, we propose a novel data augmentation method by applying the text-based speech editing model. The augmented speech from speech editing systems is more coherent and diversified, also more akin to real speech. The experimental results on code-switching and NER tasks show that our proposed method can significantly outperform the audio splicing and neural TTS based data augmentation systems.

研究の動機と目的

• 稀な語のデータ不足および長尾分布に起因する、エンドツーエンドASRモデルにおけるコードスイッチングおよび固有表現抽出（NER）の性能劣化という課題に対処すること。
• 音声結合およびニューラルTTSという従来のデータ拡張技術の限界（音声の不連続性、アーチファクト、合成音声の多様性不足）を克服すること。
• より現実的で一貫性のある拡張訓練データを生成することで、未知のコードスイッチドおよび固有表現を含む発話に対するモデルの汎化性能および耐障害性を向上させること。
• 実世界のASRシナリオにおけるコードスイッチングおよびNERタスクにおいて、音声編集に基づくデータ拡張の有効性を評価すること。

提案手法

• 本手法は、テキストベースの音声編集モデルを用いて、実際の音声を編集することで、対象語（例：固有表現やコードスイッチドセグメント）を挿入または置換する。この際、元の話者の声質および音声的特徴を維持する。
• 本手法は、既存の実際の音声サンプルを編集することで拡張音声を生成するため、不連携なセグメントを連結する音声結合とは異なり、継続性と自然さを確保する。
• 本手法は2つのバージョンを生成する：完全な音声編集（Aug_edit）と音声特徴のみの編集（Aug_edit-feats）。これにより、現実性と訓練効率のトレードオフを実現する。
• ハイブリッドなデータ拡張戦略として、編集済み音声とニューラルTTSで生成された音声を組み合わせることで、さらに多様性を向上させ、汎化性能を向上させる（Aug_edit-feats+tts）。
• 拡張データを用いて事前学習済みASRモデルを微調整する。エンコーダーの下位11層を固定することで、一般音声認識能力を維持しつつ、ターゲットドメインに適応させる。
• 訓練データに実際の非ターゲット発話も混ぜることで、ドメインシフトのバランスを保ち、合成データに過剰に適合するのを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 音声編集に基づくデータ拡張は、エンドツーエンドASRにおけるコードスイッチング認識の向上において、音声結合およびニューラルTTSを上回ることができるか？
• RQ2 音声編集に基づくデータ拡張は、ドメイン内およびドメイン外の両設定において、固有表現認識性能を向上させることができるか？
• RQ3 実世界のASR応用において、編集済み音声の一貫性および音声的リアリズムは、音声結合またはTTSで生成された音声と比較して優れているか？
• RQ4 編集済み音声とニューラルTTSで生成された音声を組み合わせることで、モデルの汎化性能および耐障害性にどのような影響を与えるか？

主な発見

• 提案手法である音声編集に基づくデータ拡張（Aug_edit）は、音声結合およびニューラルTTSベースラインと比較して、ドメイン内およびドメイン外の両テストセットにおいて、最低の語誤り率（WER）と最高の固有表現再現率・適合率を達成した。
• ハイブリッド手法（Aug_edit-feats+tts）が全体的に最高の性能を示し、すべての指標（WERおよび固有表現認識スコア）で他のすべての手法を上回った。
• 実際のデータと拡張データを混合して微調整することで、合成データのみを用いた場合と比較して、モデルの汎化性能が顕著に向上し、過学習が抑制された。
• Aug_edit-featsは、Aug_edit、Aug_splice、Aug_ttsと比較して、変更されていない領域における音声的一致性が保たれているため、WERと固有表現認識性能のバランスが優れていた。
• 結果として、音声編集は音声結合やニューラルTTSよりも現実的で一貫性のある拡張音声を生成でき、希少語および語彙外語に対するASRの耐障害性向上に明確な恩恵をもたらした。
• 性能向上は、コードスイッチングおよび固有表現抽出の両タスクで一貫して得られており、本手法がデータが不足するASRシナリオに広く適用可能であることを裏付けた。