[論文レビュー] An investigation of phone-based subword units for end-to-end speech recognition

Weiran Wang, Guangsen Wang+4 more|arXiv (Cornell University)|Apr 8, 2020

Speech Recognition and Synthesis参考文献 38被引用数 11

ひとこと要約

本稿では、発音辞書と多段階言語モデルを活用して精度を向上させる、電話ベースのバイトペア符号化（BPE）を、エンドツーエンド音声認識のサブワード単位として提案する。新規の1パス共同ビームサーチにより、電話ベースと文字ベースのBPEシステムを統合し、SwitchboardとFisherのベンチマークで最先端の結果を達成した。Switchboardでは6.3%/13.3% WER、Fisher+Switchboardでは4.9% WERを達成した。

ABSTRACT

Phones and their context-dependent variants have been the standard modeling units for conventional speech recognition systems, while characters and subwords have demonstrated their effectiveness for end-to-end recognition systems. We investigate the use of phone-based subwords, in particular, byte pair encoder (BPE), as modeling units for end-to-end speech recognition. In addition, we also developed multi-level language model-based decoding algorithms based on a pronunciation dictionary. Besides the use of the lexicon, which is easily available, our system avoids the need of additional expert knowledge or processing steps from conventional systems. Experimental results show that phone-based BPEs tend to yield more accurate recognition systems than the character-based counterpart. In addition, further improvement can be obtained with a novel one-pass joint beam search decoder, which efficiently combines phone- and character-based BPE systems. For Switchboard, our phone-based BPE system achieves 6.8\%/14.4\% word error rate (WER) on the Switchboard/CallHome portion of the test set while joint decoding achieves 6.3\%/13.3\% WER. On Fisher + Switchboard, joint decoding leads to 4.9\%/9.5\% WER, setting new milestones for telephony speech recognition.

研究の動機と目的

• 電話ベースのサブワード単位、特にBPEが、文字ベースのサブワードと比較してエンドツーエンド音声認識性能を向上させられるかどうかを調査すること。
• 電話ベースのBPEシーケンスのデコードに適した、サブワードレベルと語彙レベルの言語モデリングを統合する多段階言語モデルを開発すること。
• 電話ベースと文字ベースのBPEシステムの出力を効率的に統合する1パス共同ビームサーチデコーダーを設計すること。
• 専門家が提供する発音知識や複雑な前処理ステップを避けることで、エンドツーエンドシステムの単純性を維持すること。
• 外部言語モデルや広範なチューニングに依存せずに、SwitchboardおよびFisherベンチマークで最先端の性能を達成すること。

提案手法

• 発音辞書から導出された電話列にBPEアルゴリズムを適用し、電話をサブワード単位として扱うことにより、電話ベースのBPEを抽出する。
• ハイブリッドCTC/アテンション損失を用いて、電話BPEターゲットで音声モデルを学習し、文脈依存電話モデリングを用いずにエンドツーエンド学習を維持する。
• ビームサーチ中にスプライシングを用いてサブワードレベルと語彙レベルの言語モデルスコアを統合する、プレフィックスツリーに基づく多段階言語モデルを構築する。
• 語の発音を電話BPEシーケンスに効率的に分解するための、グリーディかつ決定論的な分解法を実装し、効率的なデコードのためのプレフィックスツリーを構築する。
• 重み付き組み合わせを用いて、電話ベースと文字ベースのBPEシステムからの仮説を動的に統合する、1パス共同ビームサーチデコーダーを設計する。
• 推論時に、同音異義語の曖昧さを避けるために、デコード済みの電話BPEシーケンスを語に変換するため、発音辞書の照会を活用する。

実験結果

リサーチクエスチョン

• RQ1 電話ベースのサブワード単位（例：BPE）が、エンドツーエンド音声認識において、文字ベースのサブワードを上回る性能を発揮できるか？
• RQ2 多段階言語モデルは、電話ベースのBPEデコードに適した、サブワードレベルと語彙レベルの言語モデリングを効果的に統合できるか？
• RQ3 1パス共同ビームサーチデコーダーは、電話ベースと文字ベースのBPEシステムを効率的に統合し、認識精度を向上させられるか？
• RQ4 電話ベースのBPEの使用は、発音辞書のトレーニングやHMM/GMMコンponentsを必要とせず、エンドツーエンドシステムの単純性を維持できるか？
• RQ5 電話ベースと文字ベースのBPEシステム間の共同デコードによる、SwitchboardやFisherといった標準ベンチマークでの性能向上はどの程度か？

主な発見

• 電話ベースのBPEシステムは、Switchboard/CALLHomeテストセットで6.8%/14.4% WERを達成し、文字ベースのBPEシステムを上回った。
• 電話ベースと文字ベースのBPEシステムを共同デコードすることで、SwitchboardではWERが6.3%/13.3%に低下し、この設定で新たな最先端を記録した。
• 追加のFisherコーパスデータを活用した結果、Switchboard部分では4.9% WERを達成し、大規模アンサンブルで得られた以前の結果をも上回った。
• 電話ベースのBPEシステムは、$k=75$の文字ベースシステムと同等の性能を示したが、$k$が小さい場合に顕著に優れた性能を示し、より優れた一般化性能を示した。
• 1パス共同ビームサーチデコーダーは、反復的デコードや複雑な再ランク付けを必要とせず、両システムを効率的に統合し、一貫した改善を達成した。
• 本手法は、発音辞書に依存するだけで、発音質問セット、状態結合、HMM/GMMトレーニングを一切避けることで、エンドツーエンドの単純性を維持した。