[論文レビュー] Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers and Gradient Clipping

Martin Pelikán, Sheikh Shams Azam+5 more|arXiv (Cornell University)|Sep 29, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本論文は、エンドツーエンドの自動音声認識（ASR）における、最初の実用的フレームワークを提示する。これは、深層Transformerモデルにおける勾配の不均一性を軽減するため、各層ごとの勾配クリッピングと階層別適応的勾配正規化を活用する。実際のユーザー規模条件下でも、(7.2, 10⁻⁹)-DPという強力なプライバシー保証を達成し、非プライベートな中央学習と比較して語彙誤り率（WER）が1.3%増加するにとどまる。これは、将来的なASR分野におけるDP-FL研究のベンチマークを確立するものである。

ABSTRACT

While federated learning (FL) and differential privacy (DP) have been extensively studied, their application to automatic speech recognition (ASR) remains largely unexplored due to the challenges in training large transformer models. Specifically, large models further exacerbate issues in FL as they are particularly susceptible to gradient heterogeneity across layers, unlike the relatively uniform gradient behavior observed in shallow models. As a result, prior works struggle to converge with standard optimization techniques, even in the absence of DP mechanisms. To the best of our knowledge, no existing work establishes a competitive, practical recipe for FL with DP in the context of ASR. To address this gap, we establish extbf{the first benchmark for FL with DP in end-to-end ASR}. Our approach centers on per-layer clipping and layer-wise gradient normalization: theoretical analysis reveals that these techniques together mitigate clipping bias and gradient heterogeneity across layers in deeper models. Consistent with these theoretical insights, our empirical results show that FL with DP is viable under strong privacy guarantees, provided a population of at least several million users. Specifically, we achieve user-level (7.2, $10^{-9}$)-DP (resp. (4.5, $10^{-9}$)-DP) with only a 1.3% (resp. 4.6%) absolute drop in word error rate when extrapolating to high (resp. low) population scales for FL with DP in ASR. Although our experiments focus on ASR, the underlying principles we uncover - particularly those concerning gradient heterogeneity and layer-wise gradient normalization - offer broader guidance for designing scalable, privacy-preserving FL algorithms for large models across domains. Code of all experiments and benchmarks is available at https://github.com/apple/ml-pfl4asr.

研究の動機と目的

• 大規模ASRモデル、特にエンドツーエンドのTransformerモデルにおける実用的でスケーラブルなDP-FLのギャップを埋めること。
• DPを適用したFLにおける深層モデルの各層における勾配の不均一性という課題に対処すること。
• 強力な(ε, δ)-DP保証を伴う、競争力があり再現可能なASR分野におけるDP-FLのベンチマークを確立すること。
• 各層ごとのクリッピングと階層別勾配正規化を組み合わせることで、強いプライバシー制約下でも収束性と高い性能を達成できることを示すこと。
• 大規模でプライバシー保護されたFLにおける提案された最適化戦略について、理論的および実験的妥当性を検証すること。

提案手法

• 深層TransformerモデルにおけるDP-FLの過程でバイアスと不均一性を低減するため、各層ごとの勾配クリッピングと階層別適応的勾配正規化を提案する。
• エンドツーエンドのASRのための、250MパラメータのシンプルなエンコーダベースのTransformerモデルをCTC損失関数で訓練する。
• 各クライアントごとにガウスノイズを注入し、クリッピング境界とプライバシー会計法を用いて調整することで、ユーザー単位の(ε, δ)-微分プライバシーを採用する。
• 中央最適化アルゴリズムにLAMB、ローカル最適化アルゴリズムにSGDを用い、安定な学習のための学習率のウォームアップとデイエイドを実装する。
• 収束を向上させるために、関連ドメインからの事前学習済みモデルを用いたシードモデルのファインチューニング戦略を導入する。
• 厳密なプライバシー会計法と収束解析を実施し、提案されたクリッピングおよび正規化手法の理論的裏付けを提供する。

実験結果

リサーチクエスチョン

• RQ1 各層における勾配の不均一性が生じるにもかかわらず、大規模なエンドツーエンドのASRモデルにDP-FLを効果的に適用できるか？
• RQ2 各層ごとのクリッピングに加え、階層別勾配正規化を組み合わせることで、ASR分野におけるDP-FLの収束性と性能が向上するか？
• RQ3 現実的なユーザー数スケール下で、プライバシー予算（ε, δ）とASRモデルの精度のトレードオフはどのように変化するか？
• RQ4 データの不均一性、最適化アルゴリズムのハイパーパrameter、モデル初期化が、ASR分野におけるDP-FLの収束に与える影響は何か？
• RQ5 強いプライバシー保証下でも、中央学習性能に匹敵する実用的で競争力のあるDP-FLのトレーニングレシピを確立できるか？

主な発見

• 数百万人のユーザーを対象とした場合、本手法は非プライベートな中央学習と比較して、WERが1.3%増加するにとどまり、(7.2, 10⁻⁹)-DPを達成した。
• より低いユーザー規模の場合は、(4.5, 10⁻⁹)-DPを達成し、WERが4.6%増加した。これは、強力なプライバシーと精度のトレードオフを示している。
• 各層ごとのクリッピングに加え、階層別勾配正規化を組み合わせることで、勾配の不均一性とクリッピングバイアスが低減され、従来手法が失敗するような深層モデルでも収束が可能になった。
• 特に、異なるドメインからの事前学習済みシードモデルを用いたファインチューニングにより、クライアントデータの不均一性に対しても競争力ある性能を発揮した。
• 理論的分析により、提案手法がDP-FL下での学習ダイナミクスを安定化させ、収束性を向上させることを確認した。
• ベンチマークとコードベース（https://github.com/apple/ml-pfl4asr）を公開しており、再現性と将来的なASR分野におけるDP-FL研究を促進する。