[論文レビュー] First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs

Awni Hannun, Andrew L. Maas+2 more|arXiv (Cornell University)|Aug 12, 2014

Speech Recognition and Synthesis参考文献 8被引用数 156

ひとこと要約

本論文は、接続主義的時系列分類（CTC）損失関数を用いた双方向再帰的深層ニューラルネットワーク（BRDNN）を用いた、最初の段階で大規模語彙連続音声認識（LVCSR）を実現するシステムを提案する。このアプローチにより、HMMに基づくラティス生成に依存せずに言語モデルを統合したエンド・ツー・エンドのデコードが可能になる。この方法により、ニューラルネットワークとn-gram言語モデルのみを用いても、Wall Street Journal（WSJ）コーパスで14.1%の競争的な語誤り率（WER）を達成し、双方向再帰構造が単方向または非再帰的モデルよりも顕著に性能向上をもたらすことを示している。

ABSTRACT

We present a method to perform first-pass large vocabulary continuous speech recognition using only a neural network and language model. Deep neural network acoustic models are now commonplace in HMM-based speech recognition systems, but building such systems is a complex, domain-specific task. Recent work demonstrated the feasibility of discarding the HMM sequence modeling framework by directly predicting transcript text from audio. This paper extends this approach in two ways. First, we demonstrate that a straightforward recurrent neural network architecture can achieve a high level of accuracy. Second, we propose and evaluate a modified prefix-search decoding algorithm. This approach to decoding enables first-pass speech recognition with a language model, completely unaided by the cumbersome infrastructure of HMM-based systems. Experiments on the Wall Street Journal corpus demonstrate fairly competitive word error rates, and the importance of bi-directional network recurrence.

研究の動機と目的

• 大規模語彙連続音声認識（LVCSR）で従来用いられてきた複雑なHMMベースのインfraを回避する最初の段階の音声認識システムを開発すること。
• 再帰的ニューラルネットワーク、特に双方向RNNがCTCベースのエンド・ツー・エンド音声認識におけるシーケンスモデリングをどのように改善するかを評価すること。
• 言語モデルをCTCで訓練されたニューラルネットワークに直接統合できるように改造したプレフィックス探索デコードアルゴリズムを設計・実装し、完全にスクラッチからデコードを可能にすること。
• n-best仮説リストやHMMベースの再スコアリングに依存せずに、競争的な語誤り率を達成できることを示すこと。

提案手法

• 時間的依存性をモデル化するために、再帰的深層ニューラルネットワーク（BRDNN）を用い、勾配消失問題の緩和のための整流線形非線形関数（ReLU）を適用する。
• ネットワークは、入力音声とのすべての可能なアライメントを考慮して正しくトランスクリプションシーケンスの尤度を最大化する、接続主義的時系列分類（CTC）損失関数を用いて訓練する。
• HMMシステムからのラティス生成に依存せずに、言語モデルをデコードプロセスに直接統合できるように、改良されたプレフィックス探索デコードアルゴリズムを提案する。
• デコードプロセスでは、語彙制約とバイグラム言語モデルを用いて、可能な語シーケンスの探索をガイドし、語レベルの正確性を向上させる。
• モデルは、文字レベルのトランスクリプションと音声特徴量を用いて、Wall Street Journal（WSJ）コーパス上で訓練および評価される。
• パrameter数を制御して、アーキテクチャの影響を明確にするために、非再帰的DNN、単方向RNN（RDNN）、双方向RNN（BRDNN）の各モデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 HMMベースのラティス生成に依存せずに、ニューラルネットワークと言語モデルのみを用いた最初の段階の音声認識システムが、競争的な語誤り率（WER）を達成できるか。
• RQ2 CTCで訓練されたニューラルネットワークに双方向再帰接続を適用することで、単方向または非再帰的アーキテクチャと比較して、文字誤り率（CER）および語誤り率（WER）に顕著な改善がもたらされるか。
• RQ3 改造されたプレフィックス探索デコードアルゴリズムが、言語モデルの事前分布をCTCデコードプロセスに効果的に統合でき、語レベルの正確性を向上させられるか。
• RQ4 双方向再帰構造による性能向上が、低遅延でオンライン音声認識システムにおいてその使用を正当化するほど顕著か。
• RQ5 密接接続とReLU活性化関数を備えたより単純な再帰的深層ニューラルネットワーク（RDNN）アーキテクチャが、CTCベースの音声認識において、より複雑なLSTMベースのモデルと同等の性能を示せるか。

主な発見

• BRDNNモデルは、テストセットの文字誤り率（CER）が10.7%にまで低下し、非再帰的DNN（22.3%）や単方向RNN（13.5%）を著しく上回り、双方向的文脈の重要性を示している。
• バイグラム言語モデルを用いることで、WSJコーパス上で14.1%の語誤り率（WER）を達成し、言語モデル統合による最初の段階デコードが実現可能で効果的であることを示している。
• 言語モデルの導入により、言語モデルなしのベースライン（35.8%）と比較して、WERが10.7ポイント低下した（35.8% → 14.1%）ことから、語レベルの正確性における言語事前分布の重要性が顕著に示された。
• パrameter数が少ない（20.9M）にもかかわらず、単方向RNN（22.0M）を上回る性能を示したため、パrameter数だけでなく、アーキテクチャ設計そのものが性能に与える影響が大きいことが示された。
• 言語モデルなしではCERが10.0%であったが、バイグラム言語モデルを導入すると5.7%に低下し、語レベルの制約が文字レベルの正確性を顕著に向上させることを示している。
• 非再帰的および単方向モデルが著しく性能を発揮しないことから、特に双方向再帰構造が、高い性能を達成するために不可欠であることが示唆された。