[論文レビュー] Partial Variable Training for Efficient On-Device Federated Learning

Tien-Ju Yang, Dhruv Guliani+2 more|arXiv (Cornell University)|Oct 11, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

この論文では、部分変数学習（PVT）という手法を提案する。PVTは、各クライアントでネットワーク変数のサブセットのみを学習することで、オンデバイスでのフェデレーテッドラーニング（FL）を効率化する。PVTは、1.9倍のメモリ使用量削減と最大593倍の通信コスト削減を達成し、より多くのローカルステップとクライアント参加を活用することで、フルモデル学習と同等の精度を維持する。

ABSTRACT

This paper aims to address the major challenges of Federated Learning (FL) on edge devices: limited memory and expensive communication. We propose a novel method, called Partial Variable Training (PVT), that only trains a small subset of variables on edge devices to reduce memory usage and communication cost. With PVT, we show that network accuracy can be maintained by utilizing more local training steps and devices, which is favorable for FL involving a large population of devices. According to our experiments on two state-of-the-art neural networks for speech recognition and two different datasets, PVT can reduce memory usage by up to 1.9$ imes$ and communication cost by up to 593$ imes$ while attaining comparable accuracy when compared with full network training.

研究の動機と目的

• オンデバイスでのフェデレーテッドラーニング（FL）における限られたメモリと高い通信コストの課題に対処すること。
• スマートフォンやIoTデバイスなどのリソース制約のあるエッジデバイスでも効率的なFLを可能にすること。
• クライアントごとのトレーニング可能な変数の数を減らしても、高いモデル精度を維持すること。
• アーキテクチャの変更やネットワーク固有の知識を必要としない手法を開発すること。
• ローカルステップ数の増加とクライアント参加の増加によって、変数の凍結による影響を補償し、大規模なFL展開を可能にすること。

提案手法

• PVTは、各フェデレーテッドラウンドごとにトレーニング可能な変数（重み、バイアス、スケーリング要因）のサブセットを選択し、残りの変数を凍結する。
• トレーニングされた変数の勾配と更新のみがサーバーに送信され、通信オーバーヘッドが削減される。
• 変数の凍結により、バックプロパゲーションのためのアクティベーションバッファリングの必要がなくなり、メモリ使用量が顕著に削減される。
• 変数は加法的ベクトル（例：バイアス）、乗法的ベクトル（例：正規化スケール）および乗法的行列（例：畳み込み重み）に分類され、加法的ベクトルはコストが低いため凍結の対象とされない。
• PVTは、クライアントごとに1ラウンドごとに（PCPR）スキームを採用し、クライアント全体にわたるネットワーク更新のバランスと効率を確保する。
• このアプローチはアーキテクチャに依存せず、変更なしに標準的なニューラルネットワーク構造と互換性を持つ。

Fig. 1 : The illustration of the proposed partial variable training. In this example, $Client\_1$ only trains $Layer\_1$ and sends back its change. Similarly, $Client\_2$ only trains $Layer\_2$ and sends back its change. The server updates both layers after receiving the changes from both clients.

実験結果

リサーチクエスチョン

• RQ1 FLにおいて変数のサブセットのみを学習することで、メモリ使用量と通信コストを削減しつつ、モデル精度を劣化させないか？
• RQ2 変数を部分的に学習する場合、ローカル学習ステップ数の増加が収束性と精度に与える影響は？
• RQ3 クライアント数を増やすことで、多数の変数を凍結することによる精度損失を補えるか？
• RQ4 凍結する変数の選択（例：加法的 vs. 乗法的）が、効率性とパフォーマンスに与える影響は？
• RQ5 PVTは、アーキテクチャの変更なしに、さまざまなニューラルネットワークアーキテクチャに普遍的に適用可能か？

主な発見

• PVTは、音声認識モデルにおいて、フルモデル学習と比較して通信コストを最大593倍、メモリ使用量を最大1.9倍削減した。
• IID Librispeechを用いたストリーミング非対応のConformerモデルでは、1024台のクライアントと5回のローカルステップを用いたPVTが、WER 2.1/5.0/2.3/4.9を達成し、AVTの2.0/4.8/2.2/4.6に近い精度を維持した。
• PVTで128回のローカルトレーニングステップを使用しても収束結果が得られ、高いローカル更新回数に対してもロバストであることが示された。
• クライアントごとに1ラウンドごとに（PCPR）スキームは、全ネットワークを効率的に更新できないため問題を抱えるラウンドごとの（PR）スキームよりも収束が速い。
• クライアント数を128台から4096台に増加させることで、必要なラウンド数は35万ラウンドから6万ラウンドに減少し、安定したWERパフォーマンスを維持した。
• 加法的ベクトルを除き、乗法的行列と乗法的ベクトルのみを凍結することで、最小限の精度損失で最適な効率性が得られた。

Fig. 2 : The WER and convergence speed improvement while we sequentially apply PCPR scheme, not freezing additive vectors (NFAV), 5 local steps (5LS), 1024 clients (1024CL) to train non-streaming Conformer on IID Librispeech.