[論文レビュー] Advances in All-Neural Speech Recognition

Geoffrey Zweig, Chengzhu Yu+2 more|arXiv (Cornell University)|Sep 19, 2016

Speech Recognition and Synthesis参考文献 21被引用数 7

ひとこと要約

本稿は、語の頭文字の大文字化を用いた新しい記号インベントリと、2段階の繰り返しCTCフレームワークを導入することで、完全ニューラル音声認識を進展させた。このフレームワークは、2番目のRNNによってノイズの多い文字出力を洗練することで、曇りのない出力を得る。この手法は、外部言語モデルを用いず、300時間のSwitchboardデータのみを用いても、CallHomeで14.0%、Switchboardで25.3%という最先端のWERを達成した。

ABSTRACT

This paper advances the design of CTC-based all-neural (or end-to-end) speech recognizers. We propose a novel symbol inventory, and a novel iterated-CTC method in which a second system is used to transform a noisy initial output into a cleaner version. We present a number of stabilization and initialization methods we have found useful in training these networks. We evaluate our system on the commonly used NIST 2000 conversational telephony test set, and significantly exceed the previously published performance of similar systems, both with and without the use of an external language model and decoding technology.

研究の動機と目的

• 外部言語モデルやデコーダー部への依存を排除することで、エンドツーエンド音声認識の性能を向上させること。
• ニューラルネットワークのみでビームサーチと言語モデルの論理を再現できるかどうかを調査すること。
• CTCベースの完全ニューラルシステムにおける記号インベントリ設計と学習安定化技術を検討すること。
• 2段階CTCプロセスが、生のニューラル出力を洗練させる有効性を評価すること。

提案手法

• 活性化関数にReLUを用いた双方向RNNをCTCフレームワークで学習させ、音声特徴を直接グラフェム出力にマッピングする。
• 空白記号の代わりに語の頭文字の大文字を用いる新しい記号インベントリを導入し、認識精度を向上させた。
• 繰り返しCTCアプローチを採用：最初のRNNが音声を文字に変換し、2番目のRNNがノイズの多い文字列を洗練された出力に改善する。
• 重み正規化や慎重な初期学習率スケジューリングを含む、安定化および初期化技術を適用し、学習安定性を向上させた。
• 最終的なWERに与える影響を評価するために、文字および語のn-gram言語モデルを後処理として適用した。
• 比較のためビームサーチとCTCデコーディングを用いたが、外部言語モデルを一切使わない完全ニューラル後処理に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 2段階CTCシステムは、単一段階のエンドツーエンドモデルを上回る性能を示せるか？
• RQ2 空白記号の代わりに語の頭文字の大文字を記号エンコーディングに用いる戦略は、空白記号を明示的に使用する手法よりも性能を向上させるか？
• RQ3 外部言語モデルなしで、ニューラルネットワークがビームサーチデコーダーの論理をどれだけ正確に再現できるか？
• RQ4 学習安定化および初期化技術は、CTCベースのRNNにおける収束性と最終的性能にどのように影響を与えるか？

主な発見

• 語の頭文字の大文字化を用いた提案された記号インベントリは、空白記号を明示的に使用する手法と比較して、CallHomeで1.2%、Switchboardで1.2%のWER低減を達成した。
• 繰り返しCTCシステムにより、CallHomeで24.7%、Switchboardで37.1%（言語モデルなし）というWERに低減され、ベースラインよりそれぞれ1.2%および1.7%の改善が得られた。
• 語ベースの言語モデルを適用した場合、CallHomeで14.0%、Switchboardで25.3%のWERを達成し、NIST 2000テストセットにおける完全ニューラルシステムの新たな最先端性能を樹立した。
• LSTMの代わりにReLU-RNNを用いることで、学習速度が向上し、精度は維持または向上した。これは、この文脈においてReLUの有効性を示している。
• 文字または語のn-gramを追加すると、繰り返しCTCの恩恵が減少した。これは、2段階目のRNNが既に言語モデルの機能の大部分を捉えていることを示唆している。
• 9層、1024ユニットの双方向ReLU-RNNは5300万パラメータを有し、強い性能を示した。これは、より深いネットワークが完全ニューラルASRにおいて有効であることを裏付けた。