[論文レビュー] Gated Recurrent Unit Based Acoustic Modeling with Future Context

Jie Li, Xiaorui Wang+2 more|arXiv (Cornell University)|May 18, 2018

Speech Recognition and Synthesis参考文献 31被引用数 5

ひとこと要約

本稿では、入力投影層を備えた最小限のゲート付き再帰ユニット（mGRUIP）を提案する。この構造により、時間的符号化と時間的畳み込みという2つの新規なコンテキストモジュールを用いて、効果的かつ直接的な将来コンテキストモデリングが可能となり、TDNN-LSTMと比較して40%少ないパラメータ数かつ170 msの遅延で最先端の自動音声認識（ASR）性能を達成する。

ABSTRACT

The use of future contextual information is typically shown to be helpful for acoustic modeling. However, for the recurrent neural network (RNN), it's not so easy to model the future temporal context effectively, meanwhile keep lower model latency. In this paper, we attempt to design a RNN acoustic model that being capable of utilizing the future context effectively and directly, with the model latency and computation cost as low as possible. The proposed model is based on the minimal gated recurrent unit (mGRU) with an input projection layer inserted in it. Two context modules, temporal encoding and temporal convolution, are specifically designed for this architecture to model the future context. Experimental results on the Switchboard task and an internal Mandarin ASR task show that, the proposed model performs much better than long short-term memory (LSTM) and mGRU models, whereas enables online decoding with a maximum latency of 170 ms. This model even outperforms a very strong baseline, TDNN-LSTM, with smaller model latency and almost half less parameters.

研究の動機と目的

• 最小限の遅延と計算コストで将来の文脈情報を効果的に活用できる再帰的ニューラルネットワーク音声モデルの設計。
• オンライン音声認識において標準的なRNNやチャンクベースの双方向モデルに見られる制限を克服し、低遅延でフレーム単位の推論を可能にする。
• TDNN層のような外部コンponentに依存せずに、RNNアーキテクチャに直接的に将来コンテキストモデリングを統合する。
• LSTM や TDNN-LSTM といった強力なベースラインと比較して、モデルサイズと計算コストを削減しながらも、ASR性能を維持または向上させる。

提案手法

• 入力と隠れ状態を圧縮する線形入力投影層を組み込んだ、変更された最小限のゲート付き再帰ユニット（mGRU）であるmGRUIPを提案。これによりパラメータ数が削減され、ボトルネックベースのコンテキストモデリングが可能になる。
• 将来コンテキストを固定サイズの表現に符号化するための時間的符号化モジュールを導入。これはFSMNに類似したものである。
• 時間方向に重ね合わせられた畳み込みを用いて、結合された将来フレームに適用する時間的畳み込みモジュールを設計。低次元の投影を活用することで、効率的なコンテキストモデリングが可能になる。
• 時間的符号化と時間的畳み込みモジュールを、層l=2からl=5の上位層mGRUIPユニットに適用。ほとんどの層ではカーネルサイズK=1、ストライドs=3を採用し、層l=2ではストライドs=1として一定のフレームレートを維持する。
• 最大170 msの遅延で実現されるフレーム単位の推論戦略を採用。チャンクベース処理を用いずに、コンテキストモジュールによる受容 field の拡張によって達成される。
• Switchboardおよび社内中国語ASRタスクでモデルを訓練・評価し、LSTM、TDNN-LSTM、mGRUIPの各バージョンで同一の設定を用いることで、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 TDNNのような外部レイヤーに依存せずに、修正されたmGRUアーキテクチャが将来コンテキストを直接効果的にモデリングできるか。
• RQ2 mGRUに入力投影層を挿入することで、ASR性能が向上し、効率的な将来コンテキストモデリングが可能になるか。
• RQ3 時間的符号化と時間的畳み込みモジュールを、最小限の計算コストで設計し、顕著な認識精度の向上を実現できるか。
• RQ4 統一されたRNNベースのアーキテクチャを用いて、TDNN-LSTMを上回るASR性能を、より低い遅延と少ないパラメータ数で達成できるか。
• RQ5 提案されたコンテキストモジュールは、クリアな音声とノイズの多い音声認識タスクの両方でどの程度効果的か。

主な発見

• 時間的畳み込みを備えたmGRUIPは、Switchboard Hub5'00テストセットでLSTMと比較して13.5%の相対的WER低減を達成し、遅延は170 msにとどまる。
• 社内中国語ASRタスクでは、クリアおよびノイズ混在テストセットでCERを13.0%から24.3%まで相対的に低減し、特に重度に汚損したデータで最大の向上を示した。
• 時間的畳み込みを備えたmGRUIPは、全SwitchboardテストセットでTDNN-LSTMを上回り（WER 13.5% 対 14.4%）、パラメータ数も46%少ない（18.7M 対 34.8M）。
• 最大170 msの遅延でオンラインデコードが実現され、比較対象の最も強力なベースラインモデルの2000 msと比べて顕著に低い。
• 時間的畳み込みは時間的符号化よりも高い性能向上をもたらすが、パラメータ数はわずかに増加する。
• mGRUIPにおける入力投影層はモデルサイズを削減し、効果的なコンテキストモデリングを可能にし、パラメータ数の低減と標準mGRUに対する精度向上の両方の貢献をしている。