[論文レビュー] FedPara: Low-Rank Hadamard Product for Communication-Efficient Federated Learning

Nam Hyeon-Woo, Moon Ye-Bin+1 more|arXiv (Cornell University)|Aug 13, 2021

Privacy-Preserving Technologies in Data参考文献 42被引用数 16

ひとこと要約

FedParaは、低ランクのハダマード積を用いたニューラルネットワーク層の再パラメータ化により、通信効率の高いフェデレーテッドラーニング手法を提案する。これにより、大幅に少ないパラメータ数でフルランク表現が可能となり、元のモデルと比較して通信コストを最大10倍まで削減する。精度は維持または向上させることができ、他のFL最適化手法と組み合わせることでさらなる向上が得られる。

ABSTRACT

In this work, we propose a communication-efficient parameterization, FedPara, for federated learning (FL) to overcome the burdens on frequent model uploads and downloads. Our method re-parameterizes weight parameters of layers using low-rank weights followed by the Hadamard product. Compared to the conventional low-rank parameterization, our FedPara method is not restricted to low-rank constraints, and thereby it has a far larger capacity. This property enables to achieve comparable performance while requiring 3 to 10 times lower communication costs than the model with the original layers, which is not achievable by the traditional low-rank methods. The efficiency of our method can be further improved by combining with other efficient FL optimizers. In addition, we extend our method to a personalized FL application, pFedPara, which separates parameters into global and local ones. We show that pFedPara outperforms competing personalized FL methods with more than three times fewer parameters.

研究の動機と目的

• 帯域制限のあるエッジデバイスにおける頻繁なモデルのアップロード・ダウンロードに起因するフェデレーテッドラーニングの高い通信オーバーヘッドを軽減すること。
• 従来の低ランクパラメータ化の限界を克服し、モデル容量を制限せずフルランク表現を達成すること。
• モデル容量を維持しつつ、通信ラウンドごとの送信ビット数を著しく削減するパラメータ化手法を開発すること。
• グローバルおよびローカルパラメータに分離することで、非IIDデータ環境下でのパーソナライズドフェデレーテッドラーニングに拡張し、性能を向上させること。
• FedParaが既存のFL最適化手法や量子化技術と組み合わせて、さらなる通信効率の向上と精度の向上を実現できることを実証すること。

提案手法

• 全結合層および畳み込み層を低ランクのハダマード積を用いて再パラメータ化する：$\mathbf{W} = (\mathbf{X}_1\mathbf{Y}_1^\top) \odot (\mathbf{X}_2\mathbf{Y}_2^\top)$、ここで各因子行列のランクは$r$である。
• ${\mathrm{rank}}(\mathbf{W}) \leq r^2$ という性質を活用し、元の $m \times n$ 重み行列よりもはるかに少ないパラメータ数でフルランク行列を表現する。
• 推論時に元のモデル構造を維持するため、事前に $\mathbf{W}$ を計算・保存することで、計算複雑度に影響を与えない。
• スケーリングハイパーパrameter $\gamma$ を導入し、モデルサイズと性能のトレードオフを制御できる。
• 低ランク要因をグローバルおよびローカル成分に分割することで、pFedParaに拡張し、クライアントごとのパーソナライズドモデル学習を可能にする。
• FedParaをFedPAQ（量子化）などの他の通信効率の良い手法と組み合わせることで、通信コストをさらに削減し、精度の損失は最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 低ランクハダマード積パラメータ化は、フェデレーテッドラーニングにおける通信コストを削減しつつ、フルランク表現を達成できるか？
• RQ2 同じパラメータ予算下で、FedParaは従来の低ランクパラメータ化よりも精度および通信効率で優れているか？
• RQ3 特に非IIDおよび異種データ環境下において、FedParaは元のモデルと比較して通信コストをどの程度削減できるか？
• RQ4 FedParaを他のFL最適化技術（例：量子化、FedAvg）と組み合わせた場合、通信効率およびモデル精度にどのような影響を与えるか？
• RQ5 pFedParaは、著しく少ないパラメータ数で、既存のパーソナライズドFL手法を上回る性能を達成できるか？

主な発見

• FedParaは、CIFAR-10、ImageNet、Shakespeareデータセットにおいて、元のモデルと同等またはそれ以上の精度を達成しながら、通信コストを最大10倍まで削減した。
• CIFAR-10（IID）におけるVGG16では、$\gamma=0.5$ の場合、83.82%の精度を達成したが、通信量は1ラウンドあたり46.4MBにまで減少し、FedAvg（122MB）と比較して2倍以上少ない。
• FedPAQと組み合わせることで、FedPara単体と比較して通信コストをさらに25%削減でき、FedAvgと比較して精度低下はたった0.1%にとどまった。
• ResNet18では、異なるモデルサイズにおいて、同じ目標精度に到達するための通信コストが、元のモデルと比較して1.17～5.1倍まで削減された。
• ShakespeareデータセットにおけるLSTMでは、元のパラメータの19%で十分な性能を発揮し、IID環境下では低ランクベースラインおよび元のモデルを上回った。非IID環境下でも競争力のある性能を示した。
• pFedParaは、競合するパーソナライズドFL手法と比較して、3倍以上も少ないパラメータ数で、挑戦的な非IID環境下でも優れた耐性と性能を示した。