[論文レビュー] Hybrid CTC-Attention based End-to-End Speech Recognition using Subword Units

Zhangyu Xiao, Zhijian Ou+2 more|arXiv (Cornell University)|Jul 13, 2018

Speech Recognition and Synthesis参考文献 21被引用数 4

ひとこと要約

本論文では、バイトペア符号化（BPE）から導かれるサブワードユニットを用いたハイブリッド CTC-Attention 端末から端末への音声認識システムを提案し、辞書や外部言語モデルを用いずに LibriSpeech の test_clean データセットで 6.8% の WER を達成した。この手法は、語彙外語（OOV）問題を軽減し、より長い文脈を効果的にモデル化できるサブワードを活用することで、文字ベースのシステムに比べて相対的に 12.8% WER を低減した。

ABSTRACT

In this paper, we present an end-to-end automatic speech recognition system, which successfully employs subword units in a hybrid CTC-Attention based system. The subword units are obtained by the byte-pair encoding (BPE) compression algorithm. Compared to using words as modeling units, using characters or subword units does not suffer from the out-of-vocabulary (OOV) problem. Furthermore, using subword units further offers a capability in modeling longer context than using characters. We evaluate different systems over the LibriSpeech 1000h dataset. The subword-based hybrid CTC-Attention system obtains 6.8% word error rate (WER) on the test_clean subset without any dictionary or external language model. This represents a significant improvement (a 12.8% WER relative reduction) over the character-based hybrid CTC-Attention system.

研究の動機と目的

• 文字ベースのエンドツーエンド ASR が抱える長距離依存性のモデル化の難しさやデータスパarsityの問題を解決すること。
• 単語や発音記号ベースのシステムに内在する語彙外語（OOV）問題を、サブワードユニットを用いることで克服すること。
• サブワードユニットを用いたハイブリッドアーキテクチャにおいて、CTC とアテンション損失を組み合わせることの有効性を検証すること。
• サブワードユニットのサイズと学習データ量のスケールがシステム性能に与える影響を評価すること。

提案手法

• サブワードユニットは、全学習トランスクリプトコーパスを対象にバイトペア符号化（BPE）アルゴリズムを用いて生成された。
• CTC 損失による単調なアライメントと、文脈に配慮した生成に適したアテンションベースのデコーダー損失を組み合わせたハイブリッド CTC-Attention ニューラルネットワークアーキテクチャを採用した。
• エンコーダーには 8 層の双方向 LSTM を使用し、バッチ正規化を適用した。デコーダーは位置情報を考慮したアテンションを持つ単方向 LSTM を使用した。
• トレーニングは Adadelta を用い、勾配クリッピングを施し、CTC とアテンション損失の重み付き組み合わせを最適化した。ハイパーパrameter λ は 0.2 に最適化された。
• 推論段階ではビームサーチ（ビームサイズ 20）が使用され、1000 時間分の LibriSpeech データを用いて 4 枚の Tesla K80 GPU でモデルを学習した。
• サブワードユニットのボキャブラリーのサイズは 500 に設定され、外部言語モデルや語彙辞書を一切使用せずに評価された。

実験結果

リサーチクエスチョン

• RQ1 文字レベルのモデリングと比較して、サブワードユニットを用いたハイブリッド CTC-Attention フレームワークは、エンドツーエンド音声認識性能を向上させることができるか？
• RQ2 サブワードユニットの使用は、エンドツーエンド ASR における語彙外語（OOV）問題と長文脈モデリングにどのように影響を与えるか？
• RQ3 外部言語モデルを用いずに LibriSpeech で低 WER を達成するための最適なサブワードユニット数は何か？
• RQ4 学習データ量は、サブワードベースのエンドツーエンド ASR システムの性能にどのように影響を与えるか？

主な発見

• サブワードベースのハイブリッド CTC-Attention システムは、外部辞書や外部言語モデルを一切使用せず、LibriSpeech の test_clean データセットで 6.8% の WER を達成した。
• これは、文字ベースのハイブリッドシステムと比較して相対的に 12.8% WER を低減したことを示し、顕著な性能向上を示している。
• 1000 個のサブワードユニットを用いた場合、文字ベースのモデルよりもわずかに優れた性能を示したが、ボキャブラリーが大きくなるとデータスパarsityの影響で性能が低下した（例：1000 単位）。
• 100 時間分のデータで学習したモデルは test_clean で 34.7% の WER を示したが、500 時間分で 10.4%、1000 時間分で 6.8% に改善し、データスケーリングの恩恵が顕著に現れた。
• ハイブリッド損失の最適な λ 値は 0.2 であり、λ を 0.5 に引き上げると性能が低下した。これは、言語モデルなしでは CTC が性能を発揮できないためである。
• サブワードユニットはオープンボキャブラリー認識を可能にし、希少語や合成語のモデリングを改善することで、語彙外語問題を単語レベルのユニットと比較して軽減した。