[論文レビュー] Signal Combination for Language Identification

Shengye Wang, Li Wan+2 more|arXiv (Cornell University)|Oct 21, 2019

Speech Recognition and Synthesis参考文献 21被引用数 10

ひとこと要約

本稿では、複数の認識器から得られる音声特徴、言語モデル、信頼度スコアを統合することで、多言語音声認識における言語識別（LangID）の精度を向上させる、深層ニューラルネットワーク（DNN）ベースの信号統合手法を提案する。DNNモデルは、ベースラインの5.5％から4.3％へ誤り率を低下させ、相対的に21.8％の削減を達成し、ラティスベースのアンサンブルモデルを上回り、特に欠損特徴がある状況でも優れた汎化性能を示す。

ABSTRACT

Google's multilingual speech recognition system combines low-level acoustic signals with language-specific recognizer signals to better predict the language of an utterance. This paper presents our experience with different signal combination methods to improve overall language identification accuracy. We compare the performance of a lattice-based ensemble model and a deep neural network model to combine signals from recognizers with that of a baseline that only uses low-level acoustic signals. Experimental results show that the deep neural network model outperforms the lattice-based ensemble model, and it reduced the error rate from 5.5% in the baseline to 4.3%, which is a 21.8% relative reduction.

研究の動機と目的

• 生の音声特徴を超える複数の情報源からの信号を統合することで、多言語音声認識システムにおける言語識別精度を向上させること。
• 深層ニューラルネットワークが、LangIDの信号統合において、従来のラティスベースのアンサンブル手法を上回る可能性があるかどうかを調査すること。
• 欠損特徴の有無が、信号統合におけるモデルの汎化性能と耐障害性に与える影響を評価すること。
• 音声認識器の出力（音声モデルコスト、言語モデルコスト、信頼度、エントロピー、テキストベースのLangID）と音声ベースのLangIDスコアを統合する、柔軟で学習可能なフレームワークを構築すること。
• 信号統合が、エンドツーエンドの多言語音声認識における単語誤り率を低減する有効性を実証すること。

提案手法

• 言語候補のペairを用いて二値分類タスクに変換し、2つの言語のうちどれがより可能性が高いかを予測する分類器を学習する。
• 分類器は対称性制約を課す：f(b,a) = 1 - f(a,b) であり、言語ペア全体で一貫した順序付けが保証される。
• 入力特徴には、音声ベースLangIDスコア、音声モデルコスト、言語モデルコスト、信頼度スコア、N-best仮説のエントロピー、テキストベースLangIDスコアが含まれる。
• ReLU活性化関数、バッチ正則化、50％ドロップアウト、He初期化を用いた、ナブラ形状の深層ニューラルネットワーク（12-128-64-32-16-8）を分類に使用する。
• 学習の安定化を図るため、特徴量は最小-最大スケーリングまたは対数変換により[-1,1]範囲に正規化する。
• Adam最適化法を用い、学習率の段階的低下、5000万ステップでの早期停止、11個の学習済みモデルの平均化により、モデルの耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、複数の認識器の信号統合において、ラティスベースのアンサンブルモデルを上回ることができるか？
• RQ2 認識器の特徴（例：言語モデルスコアの欠損）の有無が、モデルの汎化性能と性能に与える影響は何か？
• RQ3 特徴のマスキングによるデータ拡張は、未知データに対するモデルの耐障害性と精度を向上させるか？
• RQ4 信号統合が、エンドツーエンドの多言語音声認識における単語誤り率に与える影響は何か？
• RQ5 統一的で学習可能なモデルは、多様な認識器出力（音声、言語モデル、信頼度、エントロピー、テキストベースLangID）を効果的に統合し、LangID精度を向上させることができるか？

主な発見

• DNNベースの信号統合モデルは、ベースラインの5.5％から4.3％へ言語識別誤り率を低下させ、相対的に21.8％の削減を達成した。
• DNNモデルは、誤り率を5.5％から4.5％へ低下（相対削減23.7％）させるラティスベースのアンサンブルモデルを上回った。
• 「両方」のデータサブセット（認識器特徴が完全に存在）では、DNNは2.0％の誤り率を達成したのに対し、ラティスモデルは2.4％であった。
• 「いずれか」のデータサブセット（部分的特徴）では、両モデルとも4.0％の誤り率を示し、欠損特徴に対しても耐障害性があることが示された。
• エンドツーエンドの多言語音声認識では、DNNモデルにより誤り率が13.6％（ベースライン）から12.8％へ低下し、0.8パーセンテージポイントの改善が得られた。
• 特徴のマスキングによる拡張データを用いた学習は、汎化性能を向上させ、特に「両方」のデータに対して、拡張なしの学習よりも高い精度を達成した。