[論文レビュー] Semi-supervised ASR by End-to-end Self-training

Yang Chen, Weiran Wang+1 more|arXiv (Cornell University)|Jan 24, 2020

Speech Recognition and Synthesis参考文献 33被引用数 7

ひとこと要約

この論文では、ビームサーチデコーダーを用いて無題データに対して反復的に新鮮な離散的トークンレベルの偽ラベルを生成し、それらを用いてモデルをファインチューニングする、エンドツーエンドの自己学習手法を提案する。この手法は、強力なベース CTC システムに対してWSJテストセットで14.4%の相対的 WER 減少を達成し、教師ありベースシステムとオラクルシステムの性能差を46%縮小する。

ABSTRACT

While deep learning based end-to-end automatic speech recognition (ASR) systems have greatly simplified modeling pipelines, they suffer from the data sparsity issue. In this work, we propose a self-training method with an end-to-end system for semi-supervised ASR. Starting from a Connectionist Temporal Classification (CTC) system trained on the supervised data, we iteratively generate pseudo-labels on a mini-batch of unsupervised utterances with the current model, and use the pseudo-labels to augment the supervised data for immediate model update. Our method retains the simplicity of end-to-end ASR systems, and can be seen as performing alternating optimization over a well-defined learning objective. We also perform empirical investigations of our method, regarding the effect of data augmentation, decoding beamsize for pseudo-label generation, and freshness of pseudo-labels. On a commonly used semi-supervised ASR setting with the WSJ corpus, our method gives 14.4% relative WER improvement over a carefully-trained base system with data augmentation, reducing the performance gap between the base system and the oracle system by 50%.

研究の動機と目的

• 大量の無題データを活用することで、エンドツーエンド ASR におけるデータスパarsity を解消すること。
• エンドツーエンド学習のシンプルさを保ちつつ、単純な反復的自己学習フレームワークを用いてモデルの汎化性能と性能を向上させること。
• 偽ラベルの新鮮さ、ビームサイズ、データ拡張の自己学習効果への影響を調査すること。
• 教師ありベースシステムと完全にラベル付けされたデータで訓練されたオラクルシステムとの性能差を縮小すること。

提案手法

• この手法は事前学習済み CTC モデルから出発し、ビームサーチデコーダーを用いて無題発話のミニバッチに対して反復的に離散的トークンレベルの偽ラベルを生成する。
• 生成された偽ラベル付きの (入力, ラベル) ペair は、即時のモデルファインチューニングのための教師あり学習データを拡張するために使用される。
• 偽ラベル生成と教師あり更新のプロセスを交互に繰り返し、統一された目的関数上で交互最適化を効果的に行う。
• 速度変更とスペクトルマスキングを用いて、教師ありおよび非教師ありデータの両方に対してデータ拡張が適用される。
• 偽ラベル生成のためのビームサイズ $W$ はチューニングされ、効率性と同等の性能を両立させるために小さい $W$ が好ましい。
• ソフトポスタリオリーや一回限りの偽ラベル付けを避ける一方で、リアルタイムで生成される新鮮なハードラベルを好む。

実験結果

リサーチクエスチョン

• RQ1 半教師あり ASR において、反復的かつリアルタイムの偽ラベル付けは、ワンショットまたは静的偽ラベル付けと比べてどのように異なるか？
• RQ2 ビームサーチデコーダーにおけるビームサイズ $W$ が偽ラベル品質および最終的なモデル性能に与える影響は何か？
• RQ3 教師ありおよび非教師ありデータの両方に対してデータ拡張を適用することで、自己学習性能が向上するか？
• RQ4 UDA からのソフトターゲットと比較して、ハード偽ラベルはモデルの精度と収束性においてどのように異なるか？
• RQ5 エンドツーエンド自己学習は、ベースシステムと完全にラベル付けされたデータで訓練されたオラクルシステムとの性能差をどの程度縮小できるか？

主な発見

• 提案手法は、データ拡張を施した well-tuned ベース CTC システムと比較して、WSJ テストセットで14.4%の相対的 WER 減少を達成する。
• 開発セットでは、PER が相対的に31.6%低減され、強力な汎化性能の向上が示された。
• ビームサイズ $W=1$ が性能とトレーニング速度の最良のトレードオフを提供し、$W=15$ は著しく高いコストを伴うにもかかわらず僅かな利点しか得られない。
• $W=20$ を用いたワンショット偽ラベル付けは、$W=1$ を用いた反復的自己学習よりも性能が劣っており、新鮮なラベルが古くさいラベルよりも効果的であることが示された。
• ハード偽ラベルは UDA からのソフトターゲットを上回り、後者では開発セット PER が14.56%であったのに対し、本手法では11.51%を達成した。
• 本手法は、ベースシステム（11.43% WER）とオラクルシステム（7.87% WER）の性能差を46%縮小した。