[論文レビュー] Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models

Liang-Hsuan Tseng, Yu-Kuan Fu+2 more|arXiv (Cornell University)|Oct 7, 2021

Speech Recognition and Synthesis参考文献 30被引用数 8

ひとこと要約

本稿では、自己教師付き音声表現（wav2vec 2.0）を用いた統合的CTC-LIDフレームワークを提案し、中国語-英語のコードスイッチング音声認識の性能を向上させる。自己教師付き学習（SSL）モデルから得られるフレームレベルの言語識別子（特に英語のみで事前学習されたモデルであっても）を活用し、CTCと言語識別（LID）モジュールを同時に微調整することで、特に多言語事前学習を用いることで顕著な精度向上が達成された。

ABSTRACT

Code-switching (CS) is common in daily conversations where more than one language is used within a sentence. The difficulties of CS speech recognition lie in alternating languages and the lack of transcribed data. Therefore, this paper uses the recently successful self-supervised learning (SSL) methods to leverage many unlabeled speech data without CS. We show that hidden representations of SSL models offer frame-level language identity even if the models are trained with English speech only. Jointly training CTC and language identification modules with self-supervised speech representations improves CS speech recognition performance. Furthermore, using multilingual speech data for pre-training obtains the best CS speech recognition.

研究の動機と目的

• 少ないトランスクリプトデータによる低リソースな中国語-英語のコードスイッチング音声認識の課題に対処すること。
• 自己教師付き音声表現モデル（例：wav2vec 2.0）が、フレームレベルの言語識別を内蔵しているかどうかを調査すること。
• コネクティストテンポラル分類（CTC）と言語識別（LID）モジュールを統合的に訓練することで、コードスイッチング音声認識の性能を向上させること。
• 事前学習データの範囲（単言語対比多言語）が、下流のコードスイッチング認識性能に与える影響を評価すること。
• 事前学習済みSSLモデルが、低リソースなコードスイッチング状況に言語に敏感な表現を効果的に転送できることを示すこと。

提案手法

• 7層のCNNとTransformerエンコーダーから得られる事前学習済みの隠れ表現を活用し、wav2vec 2.0を特徴抽出器として使用する。
• 強制アライメントによる監視のもと、各フレームを中国語、英語、またはサイレントとして分類する別個の言語識別（LID）モジュールを訓練する。
• CTCとLIDのログ確率を加算し、ソフトマックス正規化前に統合する統合的CTC-LIDフレームワークを実装する：$ P(y|X,t) = \frac{\exp(\boldsymbol{z}_{t,y} + \boldsymbol{u}_{t,l(y)})}{\sum_{y'\in\mathcal{V}} \exp(\boldsymbol{z}_{t,y'} + \boldsymbol{u}_{t,l(y')})} $。
• wav2vec 2.0の複数層からの表現を重み付き和で統合し、CTCおよびLIDモジュール用の学習可能な重みを導入する。
• 事前学習後にCTCおよびLIDモジュールを同時に微調整することで、エンドツーエンドの統合学習による不安定性を回避し、アライメントと性能を向上させる。
• 学習戦略を比較：CTCとLIDの別個学習、エンドツーエンドの統合学習、事前学習モデルの微調整。

実験結果

リサーチクエスチョン

• RQ1 英語のみで事前学習された自己教師付き音声表現モデルであっても、コードスイッチング音声のフレームレベルの言語識別を捉えられるか？
• RQ2 SSL特徴を用いてCTCとLIDモジュールを統合的に訓練することで、単体のCTCに比べてコードスイッチング音声認識性能がどのように向上するか？
• RQ3 多言語事前学習が、コードスイッチング音声認識システムの性能に与える影響は何か？
• RQ4 CTCとLIDの予測の整合性が、曖昧またはコードスイッチング領域においてデコード精度に与える影響は何か？
• RQ5 事前学習済みのwav2vec 2.0モデルのどの層がCTCおよびLIDタスクに最も寄与しているか？また、それらの層は類似した表現パターンを共有しているか？

主な発見

• 英語のみで事前学習されたwav2vec 2.0の自己教師付き音声表現には、フレームレベルの言語識別情報が内蔵されており、追加の微調整なしに効果的な言語識別が可能である。
• 事前学習済みSSL特徴を用いてCTCとLIDモジュールを統合的に訓練することで、コードスイッチング音声認識性能が向上し、特に両方を同時に微調整した場合に顕著な向上が見られた。
• 多言語データで事前学習すると、コードスイッチング音声認識で最も高い性能が得られ、単言語事前学習を上回った。
• 事前学習済みCTCおよびLIDモジュールを同時に微調整することで、両モジュール間のアライメントが向上し、別個学習や初期学習から直接学習する場合に比べてデコード精度が顕著に向上した。
• LIDモジュールはCTCの誤りを是正する効果がある—例として、共同微調整モデルでは「break」という単語が誤って中国語文字「不」と認識されるのを防いだ。
• 重み付き和のメカニズムにより、CTCとLIDタスクがwav2vec 2.0の類似した隠れ層に依存していることが示され、コードスイッチング認識において文脈表現が共通して重要であることが明らかになった。