[論文レビュー] Improved End-to-End Dysarthric Speech Recognition via Meta-learning Based Model Re-initialization

Disong Wang, Jianwei Yu+4 more|arXiv (Cornell University)|Nov 3, 2020

Speech Recognition and Synthesis参考文献 29被引用数 6

ひとこと要約

本論文は、限られたデータで発声障害のある発話に適応するため、事前学習済みベースモデルを再初期化するメタラーニングベースのアプローチを提案する。MAMLおよびReptileを拡張し、多様な発声障害のある話者に対して高速適応を模擬することで、再初期化されたモデルはベースモデルに対して54.2%の相対的語誤り率（WER）の低減を達成し、UASpeechデータセットにおいて最先端のハイブリッドDNN-HMM性能に匹敵する。

ABSTRACT

Dysarthric speech recognition is a challenging task as dysarthric data is limited and its acoustics deviate significantly from normal speech. Model-based speaker adaptation is a promising method by using the limited dysarthric speech to fine-tune a base model that has been pre-trained from large amounts of normal speech to obtain speaker-dependent models. However, statistic distribution mismatches between the normal and dysarthric speech data limit the adaptation performance of the base model. To address this problem, we propose to re-initialize the base model via meta-learning to obtain a better model initialization. Specifically, we focus on end-to-end models and extend the model-agnostic meta learning (MAML) and Reptile algorithms to meta update the base model by repeatedly simulating adaptation to different dysarthric speakers. As a result, the re-initialized model acquires dysarthric speech knowledge and learns how to perform fast adaptation to unseen dysarthric speakers with improved performance. Experimental results on UASpeech dataset show that the best model with proposed methods achieves 54.2% and 7.6% relative word error rate reduction compared with the base model without finetuning and the model directly fine-tuned from the base model, respectively, and it is comparable with the state-of-the-art hybrid DNN-HMM model.

研究の動機と目的

• 発声障害のある発話データの不足と、通常の発話と発声障害のある発話の間の分布シフトの課題に対処すること。
• 少データでの適応を活用して、発声障害のある話者のためのエンドツーエンド発話認識性能を向上させること。
• 未観測の発声障害のある話者に一般化できるように、事前学習済みベースモデルを再初期化するメタラーニングフレームワークを開発すること。
• 標準的なファインチューニングを上回り、最先端のハイブリッドDNN-HMMシステムに匹敵する性能を達成すること。

提案手法

• 複数の発声障害のある話者に対するシミュレートされた適応に特化したベースモデルのメタトレーニングを、モデルに依存しないメタラーニング（MAML）およびReptileアルゴリズムを拡張して実施する。
• 各メタアップデートが1人の発声障害のある話者のデータに対するファインチューニングをシミュレートする、少データ学習の設定を採用する。
• 未学習の発声障害のある話者に最小限のデータで迅速に適応できるように、ベースモデルの初期化を繰り返しメタアップデートで調整する。
• エンドツーエンドASRモデルをベースモデルとして用い、標準的なファインチューニングではなく、メタ最適化された初期化によりファインチューニングを実施する。
• エンドツーエンド自動発話認識のため、メタ学習された初期化をシーケンス・ツー・シーケンスモデルに適用する。
• 未学習の発声障害のあるデータに対して1回または数回の適応ステップ後の検証損失を最小化するメタトレーニング目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なファインチューニングと比較して、メタラーニングベースのモデル再初期化は、エンドツーエンドの発声障害のある発話認識性能を向上させることができるか？
• RQ2 メタ学習された初期化は、限られたデータで未観測の発声障害のある話者に、より高速かつ効果的に適応可能か？
• RQ3 本手法は、ファインチューニングを行わない強力なベースラインモデルおよび最先端のハイブリッドDNN-HMMシステムと比較して、性能に優れているか？
• RQ4 メタラーニングは、通常の発話と発声障害のある発話データ間の分布シフトの影響をどの程度軽減できるか？

主な発見

• 提案手法は、UASpeechデータセットにおいて、ファインチューニングを行わないベースモデルと比較して54.2%の相対的語誤り率（WER）の低減を達成した。
• ベースモデルから直接ファインチューニングされたモデルと比較して、7.6%の相対的語誤り率（WER）の低減を示した。
• メタ学習されたモデルは、同じベンチマークで最先端のハイブリッドDNN-HMMシステムと同等の性能を達成した。
• 再初期化されたモデルは、高速適応能力の向上により、未観測の発声障害のある話者にさらに良好に一般化した。
• 本手法は、通常の発話と発声障害のある発話データ間の分布シフトの影響を効果的に低減した。