[論文レビュー] End-to-End ASR for Code-switched Hindi-English Speech

Brij Mohan Lal Srivastava, Basil Abraham+3 more|arXiv (Cornell University)|Jun 22, 2019

Speech Recognition and Synthesis参考文献 26被引用数 6

ひとこと要約

本稿では、46.65時間の学習データを有する低リソースなコードスイッチドヒンディ・イングリッシュ音声のエンド・ツー・エンドASRを改善するため、CTCとアテンション損失を併用したマルチタスク学習（MTL）と、オーバースマッピングによるクラス不均衡の是正を提案する。最良のモデルでは47.2%のWERを達成し、不均衡なデータに対する5%の絶対的改善を示した。最適なMTL重みはλ=0.7–0.9であった。

ABSTRACT

End-to-end (E2E) models have been explored for large speech corpora and have been found to match or outperform traditional pipeline-based systems in some languages. However, most prior work on end-to-end models use speech corpora exceeding hundreds or thousands of hours. In this study, we explore end-to-end models for code-switched Hindi-English language with less than 50 hours of data. We utilize two specific measures to improve network performance in the low-resource setting, namely multi-task learning (MTL) and balancing the corpus to deal with the inherent class imbalance problem i.e. the skewed frequency distribution over graphemes. We compare the results of the proposed approaches with traditional, cascaded ASR systems. While the lack of data adversely affects the performance of end-to-end models, we see promising improvements with MTL and balancing the corpus.

研究の動機と目的

• 50時間未塔の限られたデータでコードスイッチドヒンディ・イングリッシュ音声のエンド・ツー・エンドASRモデルを訓練するという課題に対処すること。
• グラフィム頻度分布におけるクラス不均衡の是正により、低リソース環境での性能低下を是正すること。
• コードスイッチドASRにおけるCTCとアテンションベースの損失関数を組み合わせたマルチタスク学習の有効性を評価すること。
• コードスイッチド音声認識で一般的な置換誤りを低減し、モデルのロバスト性を向上させること。

提案手法

• 重みパラメータλを用いたCTCとアテンションベースの損失関数を併用したマルチタスク学習（MTL）を採用。
• 損失関数の凸結合を用いる：L_total = λ × L_CTC + (1−λ) × L_attention、λ ∈ [0,1] で寄与度をバランスさせる。
• Adadelta最適化法を用いてモデルを訓練し、検証損失に基づく早期停止を実施。15k–21kの勾配ステップで収束した。
• 訓練データ内の文字頻度をバランスさせるためにオーバースマッピングを実装。少数派グラフィムの表現を増加。
• 平均頻度未満の文字をオーバースマッピングし、訓練データを41Kから120万文に拡張。
• 推論段階で文字レベル言語モデルのリスコアリングを適用し、仮説出力の品質を向上。

実験結果

リサーチクエスチョン

• RQ1 CTCとアテンション損失を併用したマルチタスク学習は、低リソースなコードスイッチドヒンディ・イングリッシュ音声認識におけるエンド・ツー・エンドASR性能を向上させ得るか？
• RQ2 コードスイッチドASRにおけるMTLで、安定的かつ最小の誤差率を達成する最適な損失重みパラメータλの値は何か？
• RQ3 グラフィム頻度におけるクラス不均衡は、低リソース環境下でのエンド・ツー・エンドASR性能にどのように影響を与えるか？
• RQ4 少数グラフィムのオーバースマッピングは、コードスイッチドASRにおけるWERとモデルのロバスト性をどの程度向上させるか？

主な発見

• λ ∈ [0.7, 0.9] のMTLでは、最も安定的かつ最小のWERが得られ、λ ≈ 0.5 の場合に100%を超える急激な性能低下が観察された。
• λ = 0.7 のモデルが最良の性能を示し、ヒンディ語およびイングリッシュ語のグラフィムの誤りが最小限に抑えられている。
• オーバースマッピングによるクラス不均衡補正により、最小文字頻度が3から約20,631に上昇し、データセットサイズが120万文に拡大された。
• バランスの取れたデータセットにより、テスト時のWERが5%絶対的に低減され、47.2%のWERを達成した（非バランスベースラインと比較）。
• バランス済みデータを用いたMTLモデルは、1エポックあたりの訓練時間が長くても、より速く収束し、より低い損失に到達した。
• 置換誤りは、類似するグラフィム（例：拡張子を伴う鼻音子音）の間で最も頻発しており、より良い言語モデルの必要性が示唆された。