[論文レビュー] Advancing CTC-CRF Based End-to-End Speech Recognition with Wordpieces and Conformers

Huahuan Zheng, Wenjie Peng+2 more|arXiv (Cornell University)|Jul 7, 2021

Speech Recognition and Synthesis参考文献 44被引用数 4

ひとこと要約

本稿では、CTC-CRFに基づくエンドツーエンド音声認識を、ワードピeceモデリングユニットとConformerニューラルネットワークを統合することで進展させ、Switchboard、Librispeech、CommonVoice Germanデータセットで最先端の性能を達成した。結果から、ConformerはBLSTMやVGG-BLSTMよりも顕著に精度を向上させた一方、語彙素子ベースのシステムは、ドイツ語のようなグラフエーム-フォノーム対応率の高い言語では音素ベースの性能と同等であったが、英語ではわずかに性能が劣った。

ABSTRACT

Automatic speech recognition systems have been largely improved in the past few decades and current systems are mainly hybrid-based and end-to-end-based. The recently proposed CTC-CRF framework inherits the data-efficiency of the hybrid approach and the simplicity of the end-to-end approach. In this paper, we further advance CTC-CRF based ASR technique with explorations on modeling units and neural architectures. Specifically, we investigate techniques to enable the recently developed wordpiece modeling units and Conformer neural networks to be succesfully applied in CTC-CRFs. Experiments are conducted on two English datasets (Switchboard, Librispeech) and a German dataset from CommonVoice. Experimental results suggest that (i) Conformer can improve the recognition performance significantly; (ii) Wordpiece-based systems perform slightly worse compared with phone-based systems for the target language with a low degree of grapheme-phoneme correspondence (e.g. English), while the two systems can perform equally strong when such degree of correspondence is high for the target language (e.g. German).

研究の動機と目的

• CTC-CRFに基づく自動音声認識システムへのワードピeceモデリングユニットの統合を調査すること。
• ConformerニューラルネットワークがCTC-CRFフレームワークにおいて、ASR性能の向上に果たす有効性を評価すること。
• モデルサイズ、データ拡張、入力特徴量の影響がCTC-CRF性能に与える影響を分析すること。
• グラフエーム-フォノーム対応率の異なる言語において、ワードピeceベースと音素ベースのシステムを比較すること。
• CTC-CRFフレームワークが、発音辞書を必要としない現代のアーキテクチャとユニットを用いても最先端の結果を達成できることを示すこと。

提案手法

• CTC-CRFフレームワークにおける音響モデルとして、Conformerニューラルネットワークを採用し、古くなったBLSTMおよびVGG-BLSTMアーキテクチャを置き換えた。
• 従来の音素ベースのユニットに代えて、ワードピeceトークン化（例：BPE）をモデリングユニットとして使用した。
• 比に基づくSpecAugをデータ拡張に適用し、ロバストネスと一般化性能を向上させた。
• 入力として3チャンネル120次元のFbank特徴量に、デルタおよびデルタ・デルタを追加し、特徴表現を強化した。
• 学習率スケジューラーを用いて訓練を行い、CTC-CRF設定におけるConformer訓練の最適化されたハイパーパramータを特定した。
• モデルサイズ、入力特徴量、データ拡張に関するアブレーションスタディを実施し、性能向上要因を分離した。

実験結果

リサーチクエスチョン

• RQ1 Conformerニューラルネットワークは、BLSTMおよびVGG-BLSTMと比較して、CTC-CRFベースのASRにおける認識精度を向上させることができるか？
• RQ2 グラフエーム-フォノーム対応率が低い言語と高い言語において、ワードピieceベースのモデリングと音素ベースのモデリングは、CTC-CRFシステムでどのように比較されるか？
• RQ3 入力特徴表現とデータ拡張は、Conformerを用いたCTC-CRF性能にどのような影響を与えるか？
• RQ4 Conformerモデルサイズの増大は、CTC-CRF ASRにおいて一貫した性能向上をもたらすか？
• RQ5 CTC-CRFフレームワークは、発音辞書を必要としない現代のニューラルアーキテクチャ（例：Conformer）を効果的に活用できるか？

主な発見

• ConformerベースのCTC-CRFモデルは、パrameter数が少ない状態でも、BLSTMと比較して5.3%の相対的WER低減を達成した。
• Conformer-M+モデル（5100万パラメータ）は、Switchboard Eval2000で12.1%のWERを達成し、BLSTMおよびVGG-BLSTMを上回った。
• 英語データセット（SwitchboardおよびLibrispeech）では、ワードピieceベースのシステムが音素ベースのシステムよりわずかに性能が劣り、0.4–0.5%の絶対的WERギャップが生じた。
• ドイツ語のCommonVoiceデータセットでは、ワードピieceベースと音素ベースのシステムが同等の性能を示し、高いグラフエーム-フォノーム対応率がワードピieceの成功を可能にした。
• 比に基づく拡張を用いたSpecAugは、Switchboardで7.1%、CHで9.3%のWER低減を達成し、フレーム単位の固定SpecAugを上回った。
• 40次元のFbank特徴量から80次元に変更することで、テストセット全体で0.3–0.4%のWER低減が見られ、高次元特徴量の利点が示された。