[論文レビュー] PyKaldi2: Yet another speech toolkit based on Kaldi and PyTorch

Liang Lu, Xiong Xiao+2 more|arXiv (Cornell University)|Jul 12, 2019

Speech Recognition and Synthesis参考文献 12被引用数 17

ひとこと要約

PyKaldi2 は、Kaldi と PyTorch を統合した自動音声認識ツールキットであり、オンザフライで lattice を生成することで、MMI や sMBR や MPE といった基準を用いたエンドツーエンドのシーケンス学習を可能にしている。Librispeech の WER は競争力があり、シーケンス学習により精度が向上し、オンザフライでのノイズ・リバーブレーションシミュレーションにより、特に遠方音声条件下での耐障害性が向上している。

ABSTRACT

We introduce PyKaldi2 speech recognition toolkit implemented based on Kaldi and PyTorch. While similar toolkits are available built on top of the two, a key feature of PyKaldi2 is sequence training with criteria such as MMI, sMBR and MPE. In particular, we implemented the sequence training module with on-the-fly lattice generation during model training in order to simplify the training pipeline. To address the challenging acoustic environments in real applications, PyKaldi2 also supports on-the-fly noise and reverberation simulation to improve the model robustness. With this feature, it is possible to backpropogate the gradients from the sequence-level loss to the front-end feature extraction module, which, hopefully, can foster more research in the direction of joint front-end and backend learning. We performed benchmark experiments on Librispeech, and show that PyKaldi2 can achieve reasonable recognition accuracy. The toolkit is released under the MIT license.

研究の動機と目的

• Kaldi の音声認識パイプラインと PyTorch のディープラーニング機能をシームレスに統合するための Kaldi と PyTorch の橋渡しを果たす。
• トレーニング中に簡素化されたオンザフライ lattice 生成を可能にすることで、エンドツーエンドのシーケンス判別学習（MMI, sMBR, MPE）を実現する。
• 勾配逆伝播をフロントエンドにまで伝えることで、オンザフライでのノイズおよびリバーブレーションシミュレーションを統合し、現実の音響環境下でのモデルの耐障害性を向上させる。
• Horovod を用いた分散学習により、複数の GPU でスケーラブルかつ効率的なシーケンス学習を可能にする。
• lattice を用いた学習と lattice-free MMI 学習の両方をサポートする柔軟で拡張可能なツールキットを提供し、将来的には高度な学習レシピへの拡張を想定する。

提案手法

• PyKaldi を Python ラッパーとして活用し、Kaldi の HMM および FST 機能にアクセスするとともに、PyTorch を用いてニューラルネットワークの学習と最適化を実行する。
• トレーニング中にオンザフライで lattice を生成することで、パイプラインを簡素化し、GPU でのモデル更新と併せてリアルタイムでの lattice 計算を可能にする。
• オンザフライでのデータシミュレーションをサポートし、クリアな音声をランダムな RIR で畳み込み、ミニバッチごとに多様なノイズタイプ（例：CHiME-4, MUSAN, Noisex92）を追加することで耐障害性を向上させる。
• シーケンスレベルの損失（例：MMI）をフロントエンド特徴抽出モジュールを介して逆伝播可能にするために、シミュレーションと lattice 計算を計算グラフに統合する。
• Horovod を用いて複数の GPU で分散学習を実行し、シーケンス学習における lattice 生成と損失計算を顕著に高速化する。
• データ I/O、シミュレーション、データローディング、モデル定義、カスタム損失演算、トレーニングおよびデコード用実行可能ファイルを専用コンponentとして分離したモジュラーなコードベースを提供する。

実験結果

リサーチクエスチョン

• RQ1 オンザフライでの lattice 生成は、Kaldi-PyTorch ハイブリッドツールキットにおいて、トレーニング効率を損なわせることなく、シーケンス学習パイプラインを簡素化できるか？
• RQ2 オンザフライでのノイズおよびリバーブレーションシミュレーションは、遠方およびマルチスプーカ環境下で、ASR モデルの耐障害性をどの程度向上させるか？
• RQ3 PyKaldi2 におけるシーケンス判別学習（MMI, sMBR, MPE）は、Librispeech において交差エントロピー学習と比較して一貫した WER の改善を達成できるか？
• RQ4 エンドツーエンドの逆伝播を介したフロントエンドシミュレーションの統合は、フロントエンドとバックエンドの共同学習にどの程度効果的か？
• RQ5 PyKaldi2 における初期の lattice-free MMI（LFMMI）実装は、標準的な lattice を用いた学習と比較して、どの程度のパフォーマンスを示すか？

主な発見

• PyKaldi2 は Librispeech において競争力ある ASR のパフォーマンスを達成しており、460時間の CE 学習モデルにデータシミュレーションを適用した結果、960時間の MMI 学習モデル（遠方条件下で WER 11.8%）を上回る性能（WER 11.6%）を示した。
• オンザフライでのシミュレーションは耐障害性を顕著に向上させた：460時間のデータでシミュレーションを適用した CE モデルは、シミュレーションなしで960時間学習した MMI モデルを上回り、遠方条件下で WER 11.6% を達成した。
• シミュレーションを適用したモデルは、クローズトーキング条件下で WER 5.6% を達成し、現実の耐障害性向上に向けた動的データ拡張の有効性を示した。
• Horovod を用いた分散学習により、16 GPU で最大 170 時間分のトレーニングデータを 1 時間で処理できる高スループットを達成し、シーケンス学習の高速化を実現した。
• オンザフライで lattice を生成する lattice を用いたシーケンス学習は、CE 学習に比べて一貫した WER の改善をもたらし、判別基準の価値を裏付けた。
• 初期の lattice-free MMI（LFMMI）実装は、Librispeech dev-clean で 8% を超える WER を達成したが、lattice を用いた学習より性能が劣っており、データローディングおよびチャンク分割の改善の余地があることが示された。