[論文レビュー] Letter-Based Speech Recognition with Gated ConvNets

Vitaliy Liptchinsky, Gabriel Synnaeve+1 more|arXiv (Cornell University)|Dec 22, 2017

Speech Recognition and Synthesis参考文献 47被引用数 34

ひとこと要約

本稿では、高ドロップアウトとCTCまたはASGを用いた構造的出力学習によるゲート付きConvNetを用いた文字ベースの音声認識システムを提案する。LibriSpeechでは最先端の性能を達成し、追加データや高度な言語モデルを用いずにWSJでも最高水準の文字ベースモデルと同等の性能を発揮した。

ABSTRACT

In the recent literature, "end-to-end" speech systems often refer to letter-based acoustic models trained in a sequence-to-sequence manner, either via a recurrent model or via a structured output learning approach (such as CTC). In contrast to traditional phone (or senone)-based approaches, these "end-to-end'' approaches alleviate the need of word pronunciation modeling, and do not require a "forced alignment" step at training time. Phone-based approaches remain however state of the art on classical benchmarks. In this paper, we propose a letter-based speech recognition system, leveraging a ConvNet acoustic model. Key ingredients of the ConvNet are Gated Linear Units and high dropout. The ConvNet is trained to map audio sequences to their corresponding letter transcriptions, either via a classical CTC approach, or via a recent variant called ASG. Coupled with a simple decoder at inference time, our system matches the best existing letter-based systems on WSJ (in word error rate), and shows near state of the art performance on LibriSpeech.

研究の動機と目的

• 従来の音素ベースの音響モデルや強制アラインメントを回避するシンプルでエンド・ツー・エンドの音声認識システムの開発。
• ゲート付き線形ユニット（GLUs）を用いたConvNetが、RNNベースやハイブリッドシステムと比較して、文字ベースの音声認識で競争力のある性能を達成できるかの調査。
• 外部言語モデルやデータ拡張を用いずに、文字レベルの音響モデルを学習する際、構造的出力学習（CTCおよびASG）の有効性の評価。
• WSJ や LibriSpeech の標準ベンチマーク上で、提案手法の性能を既存の最先端の文字ベースおよび音素ベースのASRシステムと比較すること。

提案手法

• 音響モデルは、勾配消失の緩和と非線形表現能力の維持を助けるゲート付き線形ユニット（GLUs）を用いた1次元ConvNetである。
• モデルは生の音声からのログメルフィルタバンク特徴を処理し、各時刻フレームごとに文字の確率分布を出力する。
• トレーニングは、エンド・ツー・エンドのシーケンス・ツー・シーケンス学習を可能にする、接続主義的時系列分類（CTC）またはASG（Collobertら、2016年）という変種の両方を用いる。
• 推論時、モデルの文字レベル出力から最も確率の高い語列を生成するために、カスタムのビームサーチデコーダーが使用される。
• 一般化を向上させ、過学習を軽減するために、トレーニング時に高いドロップアウト率が適用される。
• ほとんどの設定において、発話者適応や外部言語モデルを用いずに、生の音声と文字トランスクリプションのみで訓練される。

実験結果

リサーチクエスチョン

• RQ1 RNN やアテンション機構に依存せずに、ゲート付きConvNetベースの音響モデルが、文字ベースの音声認識で競争力のある語誤り率（WER）を達成できるか。
• RQ2 CTC や ASG を用いた構造的出力学習は、他のシーケンス学習基準と比較して、文字レベルASRにおける性能でどのように差をつけるか。
• RQ3 明示的な音素やセノンモデリングなしに、シンプルなConvNetベースのモデルが、どれほど自動的に発音パターンを学習できるか。
• RQ4 外部データや言語モデルを一切使用しない状況でも、提案手法がWSJ や LibriSpeech といった標準ベンチマークで既存の文字ベースシステムを上回るか。
• RQ5 モデルの性能はトレーニングデータ量に応じてどのようにスケーリングされるか。また、LibriSpeech のような大規模データセットでは、音素ベースシステムと同等の性能を達成できるか。

主な発見

• 提案されたゲート付きConvNetシステムは、LibriSpeech test-clean で5.1%の語誤り率（WER）を達成し、最高水準の既存の文字ベースシステムと同等の性能を示した。これは、10倍少ないトレーニングデータを用いても、Deep Speech 2 よりも優れた性能を発揮した。
• LibriSpeech test-other では、CTCを用いることで16.0%、ASGを用いることで14.5%のWERを達成し、高いロバスト性と最先端の文字ベースモデルと同等の競争力を持つことが示された。
• WSJ eval92 では、ASGを用いることで5.6%のWERを達成し、最高水準の報告済み文字ベース性能と同等であり、追加データや言語モデルを用いた多くの先行研究を上回った。
• デコーダーを一切使用しない状態でも、LibriSpeech test-clean で6.7%のWERを達成した。これは、ゲート付きConvNetの生出力がすでに強力な語レベル表現を捉えていることを示している。
• 発話者適応、言語モデル統合、データ拡張なしに、LibriSpeechで競争力ある性能を発揮した。これは、アーキテクチャとトレーニング設定の有効性を示している。
• WSJでは音素ベースシステムが依然として優位（3.5% WER）であるが、提案された文字ベースシステムはエンド・ツー・エンドでトップクラスの性能を発揮しており、十分なデータがあれば発音モデリングをエンド・ツー・エンドで効果的に学習可能であることを示唆している。