[論文レビュー] Active and Semi-Supervised Learning in ASR: Benefits on the Acoustic and Language Models

Thomas Drugman, Janne Pylkkönen+1 more|arXiv (Cornell University)|Mar 7, 2019

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文は、エンドツーエンド音声認識における信頼度ベースのアクティブラーニング（AL）およびセミスーパvisedトレーニング（SST）フレームワークを提案し、ALとSSTを併用することで、ランダム選択と比較してトランスクリプションコストを約70％削減するとともに、語誤り率（WER）を相対的に12.5％改善することを示している。この手法は、初期ASRモデルからの低信頼度仮説を活用してラベル付けの優先順位を決定し、高信頼度の自動トランスクリプトを再利用して非教師あり学習を実施する。これにより、音響モデルおよび言語モデルの両方で顕著な性能向上が得られる。

ABSTRACT

The goal of this paper is to simulate the benefits of jointly applying active learning (AL) and semi-supervised training (SST) in a new speech recognition application. Our data selection approach relies on confidence filtering, and its impact on both the acoustic and language models (AM and LM) is studied. While AL is known to be beneficial to AM training, we show that it also carries out substantial improvements to the LM when combined with SST. Sophisticated confidence models, on the other hand, did not prove to yield any data selection gain. Our results indicate that, while SST is crucial at the beginning of the labeling process, its gains degrade rapidly as AL is set in place. The final simulation reports that AL allows a transcription cost reduction of about 70% over random selection. Alternatively, for a fixed transcription budget, the proposed approach improves the word error rate by about 12.5% relative.

研究の動機と目的

• 高ベースライン性能（WER ~12.5％）を有する実世界のASRアプリケーションにおいて、アクティブラーニング（AL）とセミスーパvisedトレーニング（SST）を組合せた利点を模擬する。
• ALが音響モデル（AM）のトレーニングに加え、言語モデル（LM）のトレーニングに対しても有益であるかどうかを評価し、その向上幅を定量化する。
• ALを介して収集されるより多くの教師ありデータに対して、SSTのスケーラビリティおよび収穫逓減の程度を調査する。
• より洗練された信頼度モデルが、単純な信頼度フィルタリングに比べて、データ選択性能を向上させるかどうかを検証する。
• 交差エントロピーおよび逐次判別的トレーニングの両方において、非教師ありデータを統合する最適な戦略を特定する。

提案手法

• データ選択は、初期ASRモデルからの自動トランスクリプトの信頼度フィルタリングに基づく。トークンの尤度を、区分的多項式または線形回帰を用いてキャリブレーションされた信頼度スコアに変換する。
• アクティブラーニングでは、最も低い信頼度の発話が人間によるラベル付けの対象となる。一方、非教師ありデータは、より高い信頼度のトランスクリプトから構成され、統合学習に使用される。
• 音響モデルは交差エントロピー（XE）および逐次判別的バックトランスレーションMMI（bMMI）基準を用いてトレーニングされ、SSTは200時間の非教師ありデータに適用される。
• 言語モデルは、ALまたはランダム選択によって選択された教師ありデータを再トレーニングし、選択されたデータに一致する語彙を更新する。
• セミスーパvisedトレーニングでは、トランスクリプトの長さおよび頻度に関する追加制約を信頼度フィルタリングに組み込み、データ品質を向上させる。
• 最終的なシミュレーションでは、AMおよびLMの両方に対してALとSSTを統合的に適用し、ランダム選択との比較においてWERの改善度およびトランスクリプションコストの削減を評価する。

実験結果

リサーチクエスチョン

• RQ1 より洗練された信頼度モデルは、ASRにおけるアクティブラーニングのデータ選択性能を向上させるか？
• RQ2 アクティブラーニングは言語モデルのトレーニングに対しても有益であるか？その程度は？
• RQ3 アクティブラーニングを介して収集される教師ありデータが増加するに従い、セミスーパvisedトレーニングの利点はどのようにスケーリングされるか？
• RQ4 ALおよびSSTの改善効果は、交差エントロピーおよび逐次判別的トレーニングといった異なる音響モデルトレーニング基準において一貫しているか？
• RQ5 AMおよびLMの両方に対してALとSSTを統合的に適用した場合、トランスクリプションコストおよびWERに及ぼす総合的影響は何か？

主な発見

• アクティブラーニングにより、ランダム選択と比較してトランスクリプションコストが約70％削減され、同じWERを達成するにはラベル付きデータの30％のみでよい。
• 100時間のトランスクリプション予算が固定された場合、ALはランダム選択と比較してWERを相対的に12.5％改善する。
• 100時間のラベル付きデータを用いた場合、アクティブラーニングとセミスーパvisedトレーニングを組合せることで、言語モデルで5.3％相対的なWER改善が得られ、これはランダム選択で400時間分に相当する。
• セミスーパvisedトレーニングは、ラベル付けプロセスの初期段階で顕著な向上を示すが、アクティブラーニングが適用されると、特に100時間を超えた後にはその効果が急速に低下する。
• 高い信頼度のしきい値（0.7）を設定しても、逐次判別的bMMIトレーニングでは非教師ありデータが性能を約2.5％悪化させた。これは、ノイズの多いトランスクリプトが判別的モデルに悪影響を及けることを示している。
• ALデータ50時間と非教師ありデータ200時間を組合せた場合、音響モデルで4.5％相対的なWER改善が得られ、両者の最適統合の価値が裏付けられた。