[論文レビュー] Federated Learning in ASR: Not as Easy as You Think

Wentao Yu, Jan Freiwald+3 more|arXiv (Cornell University)|Sep 30, 2021

Speech Recognition and Synthesis参考文献 23被引用数 7

ひとこと要約

本稿は、ハイブリッドモデルおよびエンドツーエンド（E2E）モデルを用いた自動音声認識（ASR）におけるフェデレーテッドラーニング（FL）を検討し、LibriSpeechコーパス上でフェデレート平均を用いてFLを実装している。顕著な通信コストとモデル収束の課題にもかかわらず、FLは集中学習に比べて僅かな改善にとどまり、非IIDデータと勾配収縮のため、ASRのような系列モデリングタスクへのFL適用には根本的な制限があることが明らかになった。

ABSTRACT

With the growing availability of smart devices and cloud services, personal speech assistance systems are increasingly used on a daily basis. Most devices redirect the voice recordings to a central server, which uses them for upgrading the recognizer model. This leads to major privacy concerns, since private data could be misused by the server or third parties. Federated learning is a decentralized optimization strategy that has been proposed to address such concerns. Utilizing this approach, private data is used for on-device training. Afterwards, updated model parameters are sent to the server to improve the global model, which is redistributed to the clients. In this work, we implement federated learning for speech recognition in a hybrid and an end-to-end model. We discuss the outcomes of these systems, which both show great similarities and only small improvements, pointing to a need for a deeper understanding of federated learning for speech recognition.

研究の動機と目的

• ユーザーのプライバシーを保ちながらASR性能を向上させるフェデレーテッドラーニングの有効性を評価すること。
• 同じFL設定下でハイブリッドASRとエンドツーエンドトランスフォーマー/CTCモデルのFL性能を比較すること。
• クライアント参加頻度、モデル更新戦略、通信コストがFL収束性と精度に与える影響を調査すること。
• 非IIDで順序的な音声データに適用されたフェデレート平均におけるシステム的限界を特定すること。
• 今後のプライバシー保護型ASR研究を支援するため、再現可能なトレーニングおよびデータ構成スクリプトを公開すること。

提案手法

• LibriSpeechデータセット上で、ハイブリッドASR（PyTorch-Kaldi）およびエンドツーエンドモデル（ESPnet）を用いてフェデレート平均（FedAvg）を実装する。
• 1クライアントあたり1人の話者を持つフェデレーテッド環境を想定し、非IIDデータ分布を再構成するため、LibriSpeechコーパスを再編集する。
• 複数の更新戦略を評価：Cレベル（クライアントレベル）、Eレベル（エポックレベル）、Bレベル（バッチレベル）の更新と、M平均およびW平均を併用する。
• 異なるクライアント参加頻度とモデル更新頻度における語誤り率（WER）と通信コストを測定する。
• 性能ベンチマークとして、全データセットを用いて訓練されたリファレンスモデルを用いる。
• 系列データにおけるFLの収束性、勾配収縮、アライメント問題を分析する。

実験結果

リサーチクエスチョン

• RQ1 同じFL設定下で、ハイブリッドモデルとエンドツーエンドASRモデルのFL性能にどのような差が生じるか？
• RQ2 FLベースのASRにおいて、通信コストと認識精度のトレードオフはどのようなものか？
• RQ3 非IIDデータ分布とクライアント固有のデータ統計が、ASRにおけるFL性能にどの程度悪影響を及えるか？
• RQ4 異なるモデル更新頻度（C-, E-, Bレベル）が、フェデレーテッドASRにおける収束性とWERに与える影響は何か？
• RQ5 特に意思決定ツリー、言語モデル、アライメントの観点から、FLをASRに適用する際の主なアーキテクチャ的およびトレーニング上の課題は何か？

主な発見

• フェデレーテッドラーニングは、通信コストが著しく高いにもかかわらず、語誤り率（WER）の改善は僅かにとどまり、LibriSpeechテストセットでは8.98%から8.81%に低下したにとどまる。
• Eレベル更新（E-350-W）では、1ラウンドあたり350人のランダム選択された話者を用い、ハイブリッドモデルで最良のWER 8.87%を達成したが、通信量は1618 GBにのぼった。
• Cレベル更新（クライアントレベル）は通信コストが最も効率的（317 GB）であったが、ベースラインに比べたWERの改善はわずかであり、利点が限定的であることが示された。
• エンドツーエンドモデルもハイブリッドモデルと同様の性能トレンドを示したため、制限要因はモデル固有ではなく、FLフレームワーク自体に起因していると考えられる。
• フェデレート平均は、特に非IIDデータにおいて、勾配が小さくなり、収束が遅くなる傾向がある。これは、話者ごとにグループ化されたオンデバイス音声データに内在する性質である。
• 本研究では、アライメントモデルと言語モデルが現在の設定では更新されていないことが判明しており、これが性能低下およびプライバシー漏洩リスクの要因となっている可能性がある。