[論文レビュー] Private Language Model Adaptation for Speech Recognition

Zhe Liu, Ke Li+2 more|arXiv (Cornell University)|Sep 28, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用数 4

ひとこと要約

この論文は、音声認識（ASR）におけるニューラルネットワーク言語モデル（NNLM）のプライベートな適応を、フェデレーテッドラーニング（FL）に基づいて行う手法を提案する。トークンレベルの信頼度スコアを用いて、端末で生成された変換仮説の誤りを軽減する。信頼度スコアに従って交差エントロピー損失を重み付けすることで、2つの評価セットにおいてそれぞれ相対的に2.6%および10.8%の語誤り率（WER）の低減を達成し、ユーザーのプライバシーを保ちながらASRの精度を向上させる。

ABSTRACT

Speech model adaptation is crucial to handle the discrepancy between server-side proxy training data and actual data received on local devices of users. With the use of federated learning (FL), we introduce an efficient approach on continuously adapting neural network language models (NNLMs) on private devices with applications on automatic speech recognition (ASR). To address the potential speech transcription errors in the on-device training corpus, we perform empirical studies on comparing various strategies of leveraging token-level confidence scores to improve the NNLM quality in the FL settings. Experiments show that compared with no model adaptation, the proposed method achieves relative 2.6% and 10.8% word error rate (WER) reductions on two speech evaluation datasets, respectively. We also provide analysis in evaluating privacy guarantees of our presented procedure.

研究の動機と目的

• オンデバイスASRシステムにおけるサーバー側の学習データと実際のユーザー音声との間のドメインシフトを解消すること。
• フェデレーテッドラーニング（FL）を活用して、生のユーザーデータを露呈せずに、プライベートかつオンデバイスでのNNLMの適応を可能にすること。
• ASRによって生成された仮説における変換誤りを軽減するために、トークンレベルの信頼度スコアを用いて適応品質を向上させること。
• Rényi微分プライバシー（RDP）を用いて、提案されたFLベースの適応のプライバシー保証を評価すること。
• 信頼度に基づく損失重み付けが、誤った変換データに対して単純に学習を行う手法を上回ることを実証すること。

提案手法

• 本手法は、フェデレーテッドラーニングを用いて、ユーザーが生成した音声の変換結果を用いて、事前に学習済みのNNLMを端末でファインチューニングする。モデルの更新は中央サーバーで集約される。
• 端末上では、ASRシステムがユーザー発話の仮説を生成し、これをNNLMの自己教師付き学習データとして用いる。
• 信頼度分類器が、ASR仮説内の各トークンの正しさの確率を推定し、各トークンの信頼度スコアを提供する。
• NNLMの学習目的関数を変更し、これらの信頼度スコアを用いて交差エントロピー損失を重み付けすることで、低信頼度のトークンの影響を低減する。
• 誤りに強い性能を実現するため、発話レベルおよびトークンレベルの両方の信頼度重み付け戦略をサポートする。
• プライバシーは、Rényi微分プライバシー（RDP）を用いて分析され、モデル集約時にL2勾配クリッピングとガウスノイズの注入が行われる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングを用いることで、生データを露呈せずに、ユーザー固有の音声ドメインに適応可能なニューラルネットワーク言語モデル（NNLM）を効果的に適応できるか？
• RQ2 ASR変換誤りの存在下で、異なる信頼度に基づく重み付け戦略（例：トークンレベル対発話レベル）がNNLM適応品質に与える影響は何か？
• RQ3 信頼度スコアの使用が、エンドツーエンドASRシステムにおける最終的な語誤り率（WER）に与える影響は何か？
• RQ4 Rényi微分プライバシーで測定されるプライバシー保証は、FLベースのNNLM適応設定において、モデル性能とどのようにトレードオフするか？

主な発見

• 提案手法は、非適応モデルと比較して、会話評価セットで相対的に2.6%、ボイスコマンド評価セットで10.8%のWER低減を達成した。
• トークンレベルの信頼度重み付けが、他のすべての戦略を上回り、両方のデータセットで最良のWER性能を示した。
• 発話の信頼度に基づくハードスティッピングは、短いボイスコマンドセットでは最良の結果をもたらしたが、長めの会話ではトークンレベル重み付けが優れた性能を発揮した。
• FL環境下で事前学習モデルからファインチューニングするのではなく、学習から開始すると、約1%のWER悪化が生じた。これは事前学習の利点を示している。
• 強力なプライバシー制約（ε ≈ 0.9）下でも、適応モデルは非適応のサーバー事前学習モデルを上回るWER性能を示したが、その恩恵は縮小した。
• Rényi DPを用いたプライバシー分析により、本手法が意味のあるプライバシー保証を提供することが確認された。ε値はノイズレベルに応じて0.9から248.6の範囲で変動した。