[論文レビュー] An Investigation Into On-device Personalization of End-to-end Automatic Speech Recognition Models

Khe Chai Sim, Petr Zadrazil+1 more|arXiv (Cornell University)|Sep 14, 2019

Speech Recognition and Synthesis被引用数 5

ひとこと要約

この論文は、データの機微性を保ちつつスケーラビリティを確保するため、モバイルデバイス上で直接、エンドツーエンドの自動音声認識（ASR）モデルの個人化を検討している。RNN-Tアーキテクチャを用い、スライディングウィンドウによるデータ消費モデルと勾配計算の分割を用いてモバイル学習の制約をシミュレートすることで、発声障がいを有するユーザーにおいて58.1%の相対的語誤り率（WER）低減を達成した。サーバー学習と比較して18.7%のWER悪化が生じたが、サーバー依存の個人化とは異なり、プライバシーとスケーラビリティに優れた代替手法を提供する。

ABSTRACT

Speaker-independent speech recognition systems trained with data from many users are generally robust against speaker variability and work well for a large population of speakers. However, these systems do not always generalize well for users with very different speech characteristics. This issue can be addressed by building personalized systems that are designed to work well for each specific user. In this paper, we investigate the idea of securely training personalized end-to-end speech recognition models on mobile devices so that user data and models never leave the device and are never stored on a server. We study how the mobile training environment impacts performance by simulating on-device data consumption. We conduct experiments using data collected from speech impaired users for personalization. Our results show that personalization achieved 63.7\\% relative word error rate reduction when trained in a server environment and 58.1% in a mobile environment. Moving to on-device personalization resulted in 18.7% performance degradation, in exchange for improved scalability and data privacy. To train the model on device, we split the gradient computation into two and achieved 45% memory reduction at the expense of 42% increase in training time.

研究の動機と目的

• ユーザーのデータをサーバーに送信せずに、モバイルデバイス上で直接個人化されたエンドツーエンドASRモデルを学習する可能性と、性能のトレードオフを調査すること。
• 制限されたメモリ、ストレージ、データアクセスといったモバイル学習の制約が、サーバー学習と比較してASRモデルの性能に与える影響を評価すること。
• データウィンドウ化と勾配計算の分割を含む、オンデバイス学習のための技術を開発・ベンチマークすることにより、メモリ使用量を削減しながらモデルの精度を維持すること。
• 発声障がいを有するユーザーに対して、オンデバイスでのデータと計算のみを用いてASRモデルを個人化する有効性を評価すること。

提案手法

• 制限されたサイズ（Nw）のキャッシュに格納されたデータを複数の学習セッション（Ns）にわたって再利用するスライディングウィンドウ機構を用いて、オンデバイスでのデータ消費をシミュレートした。
• 勾配計算を2段階に分割することで、オンデバイス学習中のメモリ使用量を削減したが、学習時間の増加を伴った。
• 発声障がいを有するユーザーから収集した少量のユーザー固有の音声データを用いて、RNN-Tモデルの特定のコンponents（特にエンコーダーレイヤー）を微調整した。
• 多様な発話者で事前学習されたベースラインRNN-Tモデルを、発声障がいを有するユーザーのデータを用いてオンデバイスで微調整し、レイヤーの適応範囲（例：レイヤー1〜7、または全8レイヤー）を変化させた。
• 語誤り率（WER）を測定し、ピクセル3デバイス上での1発話あたりのメモリ使用量と時間の両面から学習効率を追跡した。
• データ再利用頻度がモデル性能に与える影響を特定するため、ウィンドウサイズ（Nw）、セッション数（Ns）、有効エポック数を変化させたアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 制限されたキャッシュとメモリを有するオンデバイス学習は、サーバー学習と比較して、個人化されたASRモデルのWER性能にどのように影響するか？
• RQ2 オンデバイス学習におけるデータ再利用の最適戦略は何か？ また、その戦略はモデルの収束性と精度にどのように影響するか？
• RQ3 勾配計算の分割によって、オンデバイス学習中のメモリ使用量はどの程度削減可能か？ その結果、学習時間にどのようなトレードオフが生じるか？
• RQ4 発声障がいを有するユーザーのような、特異な発声特性を持つユーザーに対して、オンデバイスでの個人化はどの程度有効か？

主な発見

• オンデバイス個人化により、ベースラインモデルと比較して58.1%の相対的WER低減が達成された。サーバー環境では63.7%であったのに対し、モバイル制約の影響で18.7%のWER悪化が生じた。
• データウィンドウサイズ（Nw）を100から500に増加させることで、WER性能は19.6%から15.3%に改善され、相対的に22.0%の向上が得られた。一方、セッション数（Ns）を増やすだけではさらなる向上は得られなかった。
• 勾配計算の分割により、小さなモデルではメモリ使用量が45%削減（1,187MB → 649MB）されたが、1発話あたりの学習時間が42%増加した。
• 最良の設定（Nw=500、Ns=10、エンコーダーレイヤー1〜7の微調整）では、WERが14.8%にまで低下し、ベースラインと比較して58.1%の相対的改善が達成された。
• ピクセル3デバイス上での学習は、1セッションあたり約3.5時間（Nw=500、バッチサイズ=10）を要し、フルサイズモデルでは1発話あたり12.5秒の処理時間がかかった。
• 結果として、オンデバイス個人化が実現可能かつ有効であることが示された。性能のわずかなトレードオフがあるものの、強力なプライバシー保護とスケーラビリティの利点を有する。