[論文レビュー] The Microsoft 2016 Conversational Speech Recognition System

Wayne Xiong, Jasha Droppo+6 more|arXiv (Cornell University)|Sep 12, 2016

Speech Recognition and Synthesis参考文献 29被引用数 16

ひとこと要約

この論文は、2016年のマイクロソフトの会話型音声認識システムを提示しており、深層畳み込みニューラルネットワーク（CNN）、双方向LSTM、i-vector適応、ラティスフリー最大相互情報量（LFMMI）学習、アンサンブル手法および双方向RNN言語モデルを統合している。このシステムは、NIST 2000 Switchboardテストセットで6.2%の語誤り率（WER）を達成し、当時、モデル結合とResNetおよびアテンションを備えたLACEを含む高度なニューラルアーキテクチャを用いた最先端の結果をもたらした。

ABSTRACT

We describe the 2017 version of Microsoft's conversational speech recognition system, in which we update our 2016 system with recent developments in neural-network-based acoustic and language modeling to further advance the state of the art on the Switchboard speech recognition task. The system adds a CNN-BLSTM acoustic model to the set of model architectures we combined previously, and includes character-based and dialog session aware LSTM language models in rescoring. For system combination we adopt a two-stage approach, whereby subsets of acoustic models are first combined at the senone/frame level, followed by a word-level voting via confusion networks. We also added a confusion network rescoring step after system combination. The resulting system yields a 5.1\% word error rate on the 2000 Switchboard evaluation set.

研究の動機と目的

• 深層ニューラルネットワークとアンサンブル技術を統合することで、会話型音声認識分野の最先端を推進すること。
• ResNetやアテンション機構を備えたLACEといった高度なCNNアーキテクチャを用いて、音声モデル化を改善すること。
• 双方向RNNLMと語の事後確率に基づくシステム結合を用いて、言語モデル化を強化すること。
• エンドツーエンド学習と再スコアリング技術を用いて、Switchboardベンチマークにおける語誤り率（WER）を低減すること。
• ラティスフリーMMI学習とi-vector適応がニューラル音声モデルにおいて有効であることを示すこと。

提案手法

• VGG、ResNet、およびレイヤーごとの文脈拡張とアテンションを備えたLACEを含む、複数のCNNおよびLSTM音声モデルアーキテクチャを用いたハイブリッドシステムを採用する。
• 学習可能な重み行列を介してCNN層にスプーカー固有の埋め込みを挿入し、LSTM入力にそれらを追加することで、i-vectorスプーカー適応を実装する。
• ラティスフリー最大相互情報量（LFMMI）学習を用い、文脈依存の発音状態と事後確率を同時に最適化する音声モデルを共同で最適化する。
• n-gram一般化の向上を図るため、前向きおよび逆向きの両方向に学習された双方向RNN言語モデル（RNNLM）を実装する。
• 複数のモデルを組み合わせる最適なシステムサブセットを探索するための混乱ネットワーク結合を適用し、語の事後確率を活用して耐性を向上させる。
• 領域外データを効果的に統合するための二段階のRNNLM学習スケジュールを採用し、一般化性能と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 残差接続とアテンション機構を備えた深層CNNは、標準的なDNNやLSTMに比べ、会話型音声認識において優れた性能を示すか？
• RQ2 従来の交差エントロピー法やラティスベース手法と比較して、ラティスフリーMMI学習は音声モデル性能の向上にどの程度有効か？
• RQ3 i-vector適応は、CNNやLSTMを含む多様な音声モデルアーキテクチャにおいて、どの程度性能を向上させるか？
• RQ4 双方向RNNLMとマルチシステム結合は、Switchboardタスクにおける語誤り率低減にどのような影響を及えるか？
• RQ5 複数の音声モデルと言語モデルを統合するアンサンブル手法は、NIST 2000 Switchboardベンチマークで最先端の性能を達成できるか？

主な発見

• 最も優れた単一システム（ResNetベース音声モデルにRNNLM再スコアリングを適用）は、NIST 2000 Switchboardテストセットで語誤り率（WER）6.9%を達成した。
• 最終的な統合システム（複数の音声モデルと言語モデルを統合）は、WER 6.2%を達成し、最も優れた単一システム比で20%の相対的誤り率低減を実現した。
• i-vector適応は、CNNやLSTMを含むすべての音声モデルタイプで、5–8%の相対的WER改善をもたらした。
• LFMMI学習は、すべてのモデルで一貫して7–10%の相対的WER低減をもたらし、標準的な交差エントロピー学習よりも有効であることを示した。
• 前向きおよび逆向きのモデルを用いたRNNLM再スコアリングは、最も優れた単一システムで20%の相対的誤り率低減を実現し、双方向言語モデル化の価値を浮き彫りにした。
• 混乱ネットワーク結合とサブセット探索を用いたシステム結合プロセスは、最も優れた個別システム比で16%の相対的WER改善を達成した。