[論文レビュー] Automatic Spelling Correction with Transformer for CTC-based End-to-End Speech Recognition

Shiliang Zhang, Ming Lei+1 more|arXiv (Cornell University)|Mar 27, 2019

Speech Recognition and Synthesis参考文献 25被引用数 9

ひとこと要約

この論文では、CTCベースのエンドツーエンド中国語音声認識における同音異義語の誤りを補正するTransformerベースの綴り直し補正モデルを提案する。エンコーダデコーダアーキテクチャを用いてCTC認識出力と正解トランスクリプションの両方を学習することで、文字誤り率（CER）を3.41%まで低下させ、言語モデルを用いたベースラインCTCシステム比で相対的に22.9%の改善を達成した。

ABSTRACT

Connectionist Temporal Classification (CTC) based end-to-end speech recognition system usually need to incorporate an external language model by using WFST-based decoding in order to achieve promising results. This is more essential to Mandarin speech recognition since it owns a special phenomenon, namely homophone, which causes a lot of substitution errors. The linguistic information introduced by language model will help to distinguish these substitution errors. In this work, we propose a transformer based spelling correction model to automatically correct errors especially the substitution errors made by CTC-based Mandarin speech recognition system. Specifically, we investigate using the recognition results generated by CTC-based systems as input and the ground-truth transcriptions as output to train a transformer with encoder-decoder architecture, which is much similar to machine translation. Results in a 20,000 hours Mandarin speech recognition task show that the proposed spelling correction model can achieve a CER of 3.41%, which results in 22.9% and 53.2% relative improvement compared to the baseline CTC-based systems decoded with and without language model respectively.

研究の動機と目的

• 同音異義語に起因するCTCベースの中国語音声認識における高頻度の置換誤りを是正すること。
• 外部言語モデルや複雑なデコードに依存せずに認識性能を向上させること。
• 誤り補正に文レベルの文脈を活用するポストプロセッシングの綴り直し補正システムを開発すること。
• データ拡張としてN-bestリストの拡張とトレーニング最適化（SGDR）を用いてモデルの汎化性能を向上させること。

提案手法

• CTC生成出力を入力とし、正解トランスクリプションをターゲットとして、Transformerエンコーダデコーダモデルを学習する。
• CTCモデル出力をグリーディサーチで推論し、その出力を綴り直し補正モデルの入力とする。
• WFSTベースのデコードから得られるN-bestリストを用いて、トレーニングデータの多様性を拡張し、上位1、5、10の仮説を用いる。
• 収束性と性能向上を図るために、SGDR（Stochastic Gradient Descent with Warm Restarts）を用いたマルチパストレーニングを実施する。
• さまざまなフロントエンドCTCシステム（例：DFSMin-CTC-sMBR）およびデコード戦略と組み合わせて綴り直し補正モデルを統合する。
• 複数のCTCモデルバリアントおよび最適化基準を用いたデータで、綴り直し補正モデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースの綴り直し補正モデルは、CTCベースの中国語ASRにおける置換誤りを効果的に低減できるか？
• RQ2 N-bestリストを用いたデータ拡張は、綴り直し補正モデルの性能にどのように影響するか？
• RQ3 SGDRを用いたマルチパストレーニングは、綴り直し補正モデルの収束性と正確性をどの程度向上できるか？
• RQ4 より弱いCTCベースラインに対して、綴り直し補正モデルはより高い相対的改善を達成できるか？
• RQ5 WFSTベースのデコードと外部言語モデルを用いた強力なCTC-sMBRシステムを上回る性能を綴り直し補正モデルは達成できるか？

主な発見

• 綴り直し補正モデルにより、CERはベースラインCTC（グリーディサーチ）の7.28%から4.89%に低下した。
• N-bestリストによるデータ拡張を適用した場合、CERは4.21%に改善され、WFSTデコードを用いたCTC-sMBRシステム（CER 4.42%）を上回った。
• DFSMin-CTC-sMBRとN-bestデータ拡張を組み合わせた最終モデルでは、CERが3.41%にまで低下し、言語モデルを用いたCTCシステム比で22.9%の相対的改善を達成した。
• 言語モデルを用いないCTCシステム比では53.2%の相対的改善を達成し、強力な誤り補正能力を示した。
• 誤り分析により、文脈を活用することで、特に同音異義語関連の誤りが顕著に減少していることが確認された。
• 初期誤り率の高いベースラインに対して、モデルの性能向上が顕著に見られ、誤りが頻発する環境での補正可能性が高まっていることが示された。