[論文レビュー] Long-span language modeling for speech recognition

Sarangarajan Parthasarathy, William A. Gale+3 more|arXiv (Cornell University)|Nov 11, 2019

Speech Recognition and Synthesis参考文献 23被引用数 8

ひとこと要約

本論文は、文単位のテキストではなく段落単位のテキストを用いてニューラル言語モデル（LSTM、Transformer、およびLSTM-attentionハイブリッド）を訓練することで、単一の文を越えた長距離の文脈を活用し、音声認識の性能を向上させることを提案する。連続する段落シーケンスで訓練することで、パープレクサリティが約20％低下し、アーキテクチャの変更なしに文間の依存関係を暗黙的に捉えることで、第二段階の再ランク付けにおいて4–9％の相対的WER低減を達成した。

ABSTRACT

We explore neural language modeling for speech recognition where the context spans multiple sentences. Rather than encode history beyond the current sentence using a cache of words or document-level features, we focus our study on the ability of LSTM and Transformer language models to implicitly learn to carry over context across sentence boundaries. We introduce a new architecture that incorporates an attention mechanism into LSTM to combine the benefits of recurrent and attention architectures. We conduct language modeling and speech recognition experiments on the publicly available LibriSpeech corpus. We show that conventional training on a paragraph-level corpus results in significant reductions in perplexity compared to training on a sentence-level corpus. We also describe speech recognition experiments using long-span language models in second-pass re-ranking, and provide insights into the ability of such models to take advantage of context beyond the current sentence.

研究の動機と目的

• ニューラル言語モデルが、文境界を越えて長距離の文脈を暗黙的に学習・利用できるかどうかを調査すること。
• 標準的なニューラル言語モデルアーキテクチャ（LSTM、Transformer、およびLSTM-attentionの変種）における段落単位の訓練の有効性を評価すること。
• 明示的なアーキテクチャの変更や外部の文脈の注入なしに、パープレクサリティと語誤り率（WER）を低下させられるかどうかを特定すること。
• 言語モデルと音声認識の両タスクにおいて、文単位と段落単位の言語モデルの性能を比較すること。

提案手法

• 文境界トークンを用いて文を連結することで、段落単位のコーパス上で標準的なLSTM、Transformer、および新しいLSTM-attentionモデルを訓練する。
• 推論の効率化を図るため、トレーニング中にノイズ対比推定（NCE）損失を用い、自己正規化確率推定を可能にする。
• 長序列における文脈表現を強化するために、LSTM隠れ状態にマルチヘッドドット積分 Attention を適用する。
• 長序列における位置情報の認識を向上させるために、Transformerモデルに相対的位置埋め込みを適用する。
• n-best仮説を用いた音声認識の第二段階再ランク付けにおいて、文単位と段落単位の言語モデルの両方でスコアリングを実施する。
• 交差エントロピーとWERメトリクスを用いてパープレクサリティとWERを計算し、n-bestリストに参照トランスクリプションを追加することで、文脈効果を隔離する。

実験結果

リサーチクエスチョン

• RQ1 段落単位のテキストで訓練されたニューラル言語モデルは、文境界を越えて複数の文にわたる文脈を暗黙的に学習・利用できるか？
• RQ2 文単位の訓練と比較して、段落単位の言語モデルは音声認識におけるパープレクサリティと語誤り率（WER）にどのように影響を与えるか？
• RQ3 LSTM、Transformer、LSTM-attentionといった異なるアーキテクチャが、言語モデルとASRの両方において、長距離の文脈をどの程度活用できるか？
• RQ4 検索エラーが存在しない状況で、段落単位の文脈を再ランク付けに用いることで、WERが顕著に低下するか？

主な発見

• すべてのモデルアーキテクチャにおいて、段落単位の言語モデルは文単位の訓練と比較して、パープレクサリティを約20％低減した。
• LSTM-attentionモデルは再ランク付けにおいて最大のWER低減を達成し、dev-otherでは9％の相対的改善を示した。
• dev-cleanでは、以前の文からの文脈が利用可能になると、LSTM-paraモデルのWERは5.68から4.79に低下し、強い長距離依存関係の学習が示された。
• 明示的な文脈の注入がなくても、段落単位のモデルは文単位のモデルを上回るWER性能を示しており、長距離の文脈がトレーニングデータ構造の影響で暗黙的に学習可能であることを示している。
• 結果から、アーキテクチャの変更なしに段落単位のデータでトレーニングすることで性能が向上することが示された。これは、データの再編成のみで顕著な向上が得られることを示唆している。