[論文レビュー] Streaming Language Identification using Combination of Acoustic Representations and ASR Hypotheses

Chander Chandak, Zeynab Raeesy+6 more|arXiv (Cornell University)|Jun 1, 2020

Speech Recognition and Synthesis参考文献 5被引用数 9

ひとこと要約

本論文では、音声認識（ASR）の1-best仮説から得られるテキスト埋め込みと音声埋め込みを組み合わせたストリーミング言語識別（LID）システムを提案する。音声のみのLIDと比較して、誤り率を最大50％相対的に低減する。この手法により、半数以上の発話で平均1500ms早い言語検出が可能となり、高い正確性を維持しながら、テキストベースのLIDを教師モデルとする半教師あり学習により汎化性能が向上する。

ABSTRACT

This paper presents our modeling and architecture approaches for building a highly accurate low-latency language identification system to support multilingual spoken queries for voice assistants. A common approach to solve multilingual speech recognition is to run multiple monolingual ASR systems in parallel and rely on a language identification (LID) component that detects the input language. Conventionally, LID relies on acoustic only information to detect input language. We propose an approach that learns and combines acoustic level representations with embeddings estimated on ASR hypotheses resulting in up to 50% relative reduction of identification error rate, compared to a model that uses acoustic only features. Furthermore, to reduce the processing cost and latency, we exploit a streaming architecture to identify the spoken language early when the system reaches a predetermined confidence level, alleviating the need to run multiple ASR systems until the end of input query. The combined acoustic and text LID, coupled with our proposed streaming runtime architecture, results in an average of 1500ms early identification for more than 50% of utterances, with almost no degradation in accuracy. We also show improved results by adopting a semi-supervised learning (SSL) technique using the newly proposed model architecture as a teacher model.

研究の動機と目的

• 動的言語切り替えをサポートする低遅延・高正確性の多言語音声アシスタント向けLIDシステムの開発。
• 発音の違い、コードスイッチング、語彙的類似度の高い言語対に対処できない音声のみのLIDの限界を克服すること。
• 非該当言語のASRシステムの早期終了を可能にすることで、計算コストを低減すること。
• テキストベースのLIDを教師モデルとして用いる半教師あり学習により、多言語音声パターンへのロバスト性を向上させること。
• 遅延を損なわず、定期的なインターバルでASR仮説を統合できるストリーミング対応アーキテクチャの設計。

提案手法

• 本システムは二重エンコーダアーキテクチャを採用：音声フレームから音声埋め込みを学習するモジュールと、1-best ASR仮説をテキスト埋め込みに変換する2つの別個のエンコーダー。
• 最終的なLID分類器は、音声埋め込みとテキスト埋め込みの両方を用いて、言語分類の交差エントロピー損失関数で共同学習される。
• ストリーミング実行ポリシーにより、定期的にASR仮説（例：600msごと）がLIDモジュールに送信され、信頼度に基づく早期言語判断が可能になる。
• 時間間隔ベースのクエリポリシーを採用し、定期的な時間間隔で言語の信頼度を評価することで、非該当言語のASRシステムの早期終了を可能にする。
• 半教師あり学習では、事前に訓練されたテキストベースのLIDモデルを用いて100万件の匿名化された多言語音声ストリームをラベル付けし、そのデータを用いて音声のみのLIDモデルを再訓練する。
• 教師-生徒フレームワークにより、音声のみのLIDモデルは、ラベルバイアスの是正と多言語・コードスイッチド音声の表現力向上により向上する。

実験結果

リサーチクエスチョン

• RQ1 音声埋め込みとテキスト埋め込みを組み合わせることで、音声のみのモデルを上回る言語識別正確性を達成できるか？
• RQ2 正確性を損なわず、ストリーミング環境でどれだけ早く言語を識別できるか。また、早期ASR終了による計算コストの削減はどの程度か？
• RQ3 テキストベースのLIDを教師モデルとして用いる半教師あり学習により、音声のみのLIDモデルの多言語およびコードスイッチド音声への汎化性能が向上するか？
• RQ4 音声的特徴が曖昧な言語対（例：英語/ヒンディー語、英語/スペイン語）において、本システムの性能はいかがなものか？
• RQ5 ASR仮説をLIDパイプラインに統合する際の、正確性と遅延のトレードオフはどのようなものか？

主な発見

• 音声・テキスト統合LIDモデルは、音声のみのLIDと比較して誤り率を最大50％相対的に低減し、特に英語/スペイン語対で48.4％の相対的低減が観察された。
• 発話の50％以上で、発話終了時より平均1500ms早く言語が特定可能であり、顕著な計算コストの削減が見込まれる。
• 信頼度閾値0.99で、英語では非該当ASRデコードを43％、スペイン語では40％削減でき、正確性の低下は最小限に抑えられた。
• テキストベースLIDのラベルを用いた半教師ありファインチューニングにより、英語/スペイン語や英語/ヒンディー語といった高頻度言語対において、音声のみのLIDモデルの性能が向上した。
• 本手法は、長期間の外国語語彙や発音の違いによる音声のみのモデルの誤り、および二言語ASR出力に起因するテキストベースモデルの誤りを効果的に是正する。
• 従来の音声のみのLIDが失敗するコードスイッチドや混合言語発話においても、本手法は高い正確性を維持する。