[論文レビュー] On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech

Katrin Tomanek, Françoise Beaufays+3 more|arXiv (Cornell University)|Jun 18, 2021

Speech Recognition and Synthesis参考文献 31被引用数 11

ひとこと要約

この論文は、1人あたり50回程度の短い発話のみを用いて、端末上で個人化可能な自動音声認識（ASR）モデルの手法を提示している。事前に適応されたシードモデルをモバイルデバイス上で直接微調整することで、71%の中央値相対語誤り率（WER）の低減を達成し、音声制御型ホームオートメーションタスクの成功率を40%から81%に向上させた。プライベートな発話データをアップロードせずに実現した。

ABSTRACT

While current state-of-the-art Automatic Speech Recognition (ASR) systems achieve high accuracy on typical speech, they suffer from significant performance degradation on disordered speech and other atypical speech patterns. Personalization of ASR models, a commonly applied solution to this problem, is usually performed in a server-based training environment posing problems around data privacy, delayed model-update times, and communication cost for copying data and models between mobile device and server infrastructure. In this paper, we present an approach to on-device based ASR personalization with very small amounts of speaker-specific data. We test our approach on a diverse set of 100 speakers with disordered speech and find median relative word error rate improvement of 71% with only 50 short utterances required per speaker. When tested on a voice-controlled home automation platform, on-device personalized models show a median task success rate of 81%, compared to only 40% of the unadapted models.

研究の動機と目的

• 標準的なASRモデルが発語障害（特にダイアスラリア、口蓋裂、重度の言語障害を伴う発話障害）に対して著しく性能が低い問題に対処すること。
• サーバー側でのデータ転送を回避することで、ユーザーのプライバシーを守る端末内での個人化を可能にすること。
• モデル適応をモバイルデバイス上でローカルに実施することで、トレーニング時間と通信コストを削減すること。
• 実世界の音声制御アプリケーションにおいて、最小限のデータ（50回程度の発話）で端末内トレーニングの有効性を評価すること。
• リアルタイムでのモデル更新と手動でのトランスクリプト修正の削減により、データ収集中のユーザー体験を向上させること。

提案手法

• 端末内推論に最適化された修正版RNN-Tアーキテクチャを採用し、8層のLSTMエンコーダーと2層の言語モデルを備え、30msごとに128次元のログメル特徴を処理する。
• 2段階の適応を採用：まず、多様な発語障害発話データで事前学習されたシードモデルを初期状態として用いる。次に、過学習を避けるために、最初の5層のエンコーダーのみを端末内での微調整で更新する。
• 反復的な端末内トレーニングを実施：5発話ごとに繰り返し、ユーザーがトランスクリプトを修正した後に保存することで、連続的なモデル更新を可能にするフィードバックループを採用する。
• 効率的な端末内推論とトレーニングを実現するため、量子化され小型化されたモデルを採用。モデルのチェックポイントはセッション間で保存・再読み込みされる。
• シードモデルは、大規模な発語障害発話データプールでベースASRモデルを微調整することで作成され、発話者固有の適応の前段階で初期精度を向上させる。
• バッテリー効率が良く、メモリ使用量が少ないように設計されたトレーニングプロセスであり、5発話ごとのバッチ処理後にモデル更新をトリガーすることで、ユーザーの待機時間を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 50回程度の短い発話のみを用いて、端末内でのASRモデルの個人化が、発語障害を呈する発話者に対して認識精度を著しく向上させられるか？
• RQ2 連続的な更新（5発話ごとにモデルを更新）を行うことで、単一バッチでのトレーニングと比較して、トランスクリプト修正に要するユーザーの負担が軽減されるか？
• RQ3 通常の発話で学習されたベースモデルから始めるのと比較して、発語障害に事前に適応されたシードモデルを用いることで、WER低減とトレーニング効率にどのような差が生じるか？
• RQ4 端末内での個人化が、音声制御型ホームオートメーションなどの実世界アプリケーションの成功率にどの程度向上効果をもたらすか？
• RQ5 重度の発話障害を呈するユーザーが実際の現場で端末内個人化を効果的に利用でき、トランスクリプト認識精度に測定可能な向上が見られるか？

主な発見

• 50回の発話での端末内個人化により、通常の発話で学習されたベースモデルと比較して、中央値の語誤り率（WER）が71%低減した。
• 音声制御型ホームオートメーションタスクの中央値成功確率は、未適応モデルの40%から、端末内個人化モデルでは81%に上昇した。
• 5発話ごとにモデルを更新する連続トレーニングは、単一バッチでのトレーニングと比較して、トレーニングデータ上の中央値WERを27%低減した。特に中程度の発話障害を呈する発話者で最大の恩恵（31%）が得られた。
• シードモデルを用いることで、中央値WERは26.2から15.2に低下し、データ収集段階におけるトランスクリプト修正の必要度が42%相対的に減少した。
• 重度の発話障害（難聴）を呈する発話者を対象とした実世界テストでは、端末内トレーニング後、トランスクリプト認識精度がシードモデルの48%から63%に向上した（Pixel 3端末で実施）。
• 50発話の録音とトレーニングを含む全プロセスは、モバイルデバイス上で1時間未満で完了し、各トレーニングラウンドは4〜5分間であった。