[論文レビュー] A Comparison of Label-Synchronous and Frame-Synchronous End-to-End Models for Speech Recognition

Linhao Dong, Yi Cheng+5 more|arXiv (Cornell University)|May 20, 2020

Speech Recognition and Synthesis参考文献 34被引用数 16

ひとこと要約

この論文は、12,000時間のコーパスを含む複数のデータセットにおいて、ラベル同期型（Transformer）とフレーム同期型（CIFベース）のエンドツーエンドASRモデルを比較している。フレーム同期型モデルは、長時間、繰り返し、ノイジーな発話において、4.4–6.8倍高速な推論を達成し、一般化性能が優れている。一方、Transformerモデルは、文脈の適切な利用により、標準ベンチマークではわずかに高い精度を示している。

ABSTRACT

End-to-end models are gaining wider attention in the field of automatic speech recognition (ASR). One of their advantages is the simplicity of building that directly recognizes the speech frame sequence into the text label sequence by neural networks. According to the driving end in the recognition process, end-to-end ASR models could be categorized into two types: label-synchronous and frame-synchronous, each of which has unique model behaviour and characteristic. In this work, we make a detailed comparison on a representative label-synchronous model (transformer) and a soft frame-synchronous model (continuous integrate-and-fire (CIF) based model). The results on three public dataset and a large-scale dataset with 12000 hours of training data show that the two types of models have respective advantages that are consistent with their synchronous mode.

研究の動機と目的

• ラベル同期型とフレーム同期型のエンドツーエンドASRモデルの性能のトレードオフを分析・比較すること。
• モデルアーキテクチャが、長時間、繰り返し、ノイジーな発話などの困難な条件下での推論速度、精度、耐障害性に与える影響を評価すること。
• さまざまな音声認識シナリオにおける各モデルタイプの一般化能力を評価すること。
• レイテンシーや耐障害性といったデプロイ要件に基づいて、適切なエンドツーエンドモデルを選択するための実用的ガイダンスを提供すること。

提案手法

• 研究では、デコーダーの自己回帰的トークン生成に依存する代表的なラベル同期型モデルとしてTransformerモデルを用いた。
• 連続的統合・放電（CIF）ベースのモデルを、ソフトフレーム同期型モデルとして採用した。このモデルは音声フレームを逐次処理し、音声特徴を動的統合メカニズムで統合する。
• 両モデルとも自己注意ネットワーク（SAN）を用いたエンコーダ・デコーダフレームワークに従うが、アライメント戦略が異なる：Transformerではアテンションベース、CIFではフレーム認識統合である。
• モデルは3つの公開データセットおよび大規模な12,000時間のデータセットで訓練・評価され、WER、推論速度、誤りタイプを含む標準化されたテスト分割とメトリクスが用いられた。
• 耐障害性を評価するための特別なテストセットを構築した：長時間発話（同一発話者からの連結）、繰り返し発話（1×～4×）、SNR 0–20 dBのノイジー発話。
• 性能は語誤り率（WER）、削除/挿入誤り率、入力長に伴う推論時間のスケーリングを用いて分析された。

実験結果

リサーチクエスチョン

• RQ1 標準的および挑戦的テストセットにおいて、ラベル同期型（Transformer）とフレーム同期型（CIFベース）モデルの語誤り率（WER）はどのように比較されるか？
• RQ2 入力長が各モデルタイプの性能に与える影響、特に長時間発話の状況下での影響は何か？
• RQ3 繰り返し発話は、各モデルの推論行動と誤りパターンにどのように影響するか？
• RQ4 ノイジーな条件下での両モデルの性能はどのようになるのか？ これにより、耐障害性の特徴がどのように明らかになるか？
• RQ5 モデルアーキテクチャと推論速度の関係は何か？ これはリアルタイム適用性にどのように影響するか？

主な発見

• Transformerモデルは、広範な音声フレームへの注目能力のおかげで、標準データセットの大部分でわずかに優れたWERを達成し、LibriSpeech test-cleanでは3.23%のWERを記録した。
• CIFベースのモデルは、推論速度がTransformerの4.4–6.8倍高速であり、入力長に比例して線形に推論時間が増加する一方、Transformerの推論時間は二次関数的に増加する。
• 長時間発話では、TransformerのWERが著しく上昇する（例：4× LibriSpeechでは50.50%）、主に削除誤りの増加によるものである。一方、CIFベースのモデルは安定した性能を維持する。
• 繰り返し発話では、TransformerのWERは4× AISHELL-2で152.92%に急上昇し、主にデコーダー状態の混乱による挿入誤りが原因である。一方、CIFベースのモデルはわずかな劣化（4×で6.78%）にとどまる。
• ノイジー発話では、両モデルのWERはほぼ同等（約18.2%）であり、ノイズに対する耐障害性は同等であるが、CIFベースのモデルはSNRレベルにわたる一貫性がより高い。
• CIFベースのモデルの性能安定性は、フレーム単位での処理と最後のフレームでの明確な停止信号のおかげであり、自己回帰モデルに見られるデコーダー状態の混乱を回避している。