[論文レビュー] Data Techniques For Online End-to-end Speech Recognition

Yang Chen, Weiran Wang+2 more|arXiv (Cornell University)|Jan 24, 2020

Speech Recognition and Synthesis参考文献 34被引用数 4

ひとこと要約

本稿では、限られたドメイン内データを用いてオンラインエンドツーエンドASRのパフォーマンスを向上させるために、データ中心の技術群—ドメイン適応、データ拡張、および非トランスクリプトデータを用いた知識蒸留—を提案する。単方向CTCモデルにこれらの手法を組み合わせることで、WSJでは50%以上の相対的WER削減、また困難な会話音声データセットでは25.4%の相対的改善が達成され、強力なベースラインおよびより多くのデータで訓練された双方向モデルを上回る性能を発揮した。

ABSTRACT

Practitioners often need to build ASR systems for new use cases in a short amount of time, given limited in-domain data. While recently developed end-to-end methods largely simplify the modeling pipelines, they still suffer from the data sparsity issue. In this work, we explore a few simple-to-implement techniques for building online ASR systems in an end-to-end fashion, with a small amount of transcribed data in the target domain. These techniques include data augmentation in the target domain, domain adaptation using models previously trained on a large source domain, and knowledge distillation on non-transcribed target domain data, using an adapted bi-directional model as the teacher; they are applicable in real scenarios with different types of resources. Our experiments demonstrate that each technique is independently useful in the improvement of the online ASR performance in the target domain.

研究の動機と目的

• 限られたドメイン内トランスクリプトデータしか入手できない状況において、正確なオンラインエンドツーエンドASRシステムを構築する課題に対処すること。
• データが乏しい実世界のASRシナリオにおいて、モデル精度が制限を受ける低リソース状況での性能向上を図ること。
• リソースの可用性に応じた実世界システムへの導入が容易な実用的で実装が簡単なデータ技術を開発すること。
• モデルの複雑さではなく、データの操作が低データ環境において顕著なパフォーマンス向上をもたらす可能性を示すこと。

提案手法

• ドメイン内トランスクリプトデータに対して直接データ拡張技術を適用し、トレーニングの多様性とロバスト性を向上させる。
• 大規模なソースドメインで事前学習された単方向CTCモデルを用いてドメイン適応を行い、限られたドメイン内データでファインチューニングする。
• 双方向モデル（ドメイン内データで訓練済み）が非トランスクリプトのターゲットデータを用いて、知識蒸留用の疑似ラベルを生成する、新しい教師-生徒蒸留フレームワークを実装する。この生徒モデルは単方向であり、教師モデルは双方向である。
• 生徒モデルに5層の単方向LSTMアーキテクチャ、教師モデルに5層の双方向LSTMを採用し、両者とも同じソースドメインデータで訓練する。
• トレーニング効率とロバスト性を向上させるために、フレームスタッキング（3倍）とスピークャーごとの平均正規化を実施する。
• ADAM最適化アルゴリズムを用い、Kaldiレシピから得た言語モデルと語彙辞書を用いたビームサーチデコードを実行し、<blank>シンボルのためのチューニング済み事前分布を適用する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内トランスクリプトデータに対するデータ拡張が、最小限のデータでオンラインエンドツーエンドASRパフォーマンスを顕著に向上させ得るか？
• RQ2 大規模なソースドメインで事前学習されたモデルからのドメイン適応が、低リソースターゲットドメインでの性能向上にどの程度寄与するか？
• RQ3 双方向教師モデルと非トランスクリプトデータを用いた知識蒸留が、単方向生徒モデルへのモデル容量の転送を効果的に行えるか？
• RQ4 これらの技術はどのように組み合わせられるか？また、併用した場合の累積的利得はどの程度か？

主な発見

• WSJコーパスでは、ドメイン適応、データ拡張、知識蒸留を組み合わせることで、ドメイン内データ15時間で学習したベースラインのWER 17.72%を7.58%に低下させ、50%以上の相対的改善を達成した。
• 本手法は、同じ量の非教師付きデータで訓練された双方向CTCモデル（WER 13.50%）およびより多くのドメイン内データで訓練された単方向モデル（WER 11.98%）を上回った。
• 困難な会話音声データセットでは、27.68%から20.64%にWERが低下し、25.4%の相対的改善が達成された。
• 個々の技術であるデータ拡張、ドメイン適応、および非教師付き知識蒸留は、それぞれ測定可能な、かつ加法的なパフォーマンス向上をもたらした。
• 非トランスクリプトデータを用いた教師-生徒蒸留フレームワークは、この低データ、オンラインASR環境において特に効果的かつ画期的であった。
• 話し方のスタイルが異なるデータセットにおいても一貫した結果が得られたことから、提案手法の一般化可能性が確認された。