[論文レビュー] Model Pruning Enables Localized and Efficient Federated Learning for Yield Forecasting and Data Sharing

Andy Li, Milan Marković+2 more|arXiv (Cornell University)|Apr 19, 2023

Privacy-Preserving Technologies in Data参考文献 57被引用数 4

ひとこと要約

本論文では、通信効率の高いフェデレーテッドラーニングフレームワーク「Federated Pruning（FedPruning）」を提案する。この手法は、モデル集約の前にクライントモデルに対してニューラルネットワークのプルーニングを適用することで、局所的でプライバシー保護型のモデル学習を可能にし、トウモロコシ収量予測に応用する。この方法により、FedAvgと比較して局所的推論性能が15.5–20%向上し、モデルサイズは最大84%削減され、通信コストは57.1–64.7%削減される。

ABSTRACT

Federated Learning (FL) presents a decentralized approach to model training in the agri-food sector and offers the potential for improved machine learning performance, while ensuring the safety and privacy of individual farms or data silos. However, the conventional FL approach has two major limitations. First, the heterogeneous data on individual silos can cause the global model to perform well for some clients but not all, as the update direction on some clients may hinder others after they are aggregated. Second, it is lacking with respect to the efficiency perspective concerning communication costs during FL and large model sizes. This paper proposes a new technical solution that utilizes network pruning on client models and aggregates the pruned models. This method enables local models to be tailored to their respective data distribution and mitigate the data heterogeneity present in agri-food data. Moreover, it allows for more compact models that consume less data during transmission. We experiment with a soybean yield forecasting dataset and find that this approach can improve inference performance by 15.5% to 20% compared to FedAvg, while reducing local model sizes by up to 84% and the data volume communicated between the clients and the server by 57.1% to 64.7%.

研究の動機と目的

• 農業分野のフェデレーテッドラーニングにおいて、農場ごとに著しく異なるデータ分布を示すクライントデータの非IID性に起因するデータ非均一性の課題に対処すること。
• リソース制限のあるエッジデバイスが設置される農村部の農業環境において、実装可能なフェデレーテッドラーニングのため、通信オーバーヘッドとモデルサイズを低減すること。
• クライントモデルが局所的なプルーニングを通じて独自のデータ分布に適応できるようにすることで、局所的推論性能を向上させること。
• 標準的なFedAvgと比較して、フェデレーテッドトレーニング中にプルーニングを適用することで、モデルの効率性と性能を同時に向上させられることを示すこと。
• 生産者間が生データを共有せずに安全で分散型の協働学習を実現することで、持続可能で透明性の高い農業食品システムを支援すること。

提案手法

• 各フェデレーテッドラーニングラウンドにおいて、モデル集約の前に、各クライントモデルに対して構造的マグニチュードベースのプルーニングを適用し、モデルサイズと通信コストを削減する。
• クライントモデルを、非IIDなローカルデータ上で独立して学習させることで、各モデルが局所データに特化した独自の表現を学習できるようにする。
• 中央サーバーでは、プルーニング済みのクライントモデルのみを集約してグローバルモデルを形成することで、プライバシーを保護するとともに、データ送信量を削減する。
• モデル性能を維持しつつスパarsityを最大化できるように、プルーニングスケジュールを設定し、各クライントのローカルデータ特性に応じて個別にプルーニングを適用する。
• FedAvgフレームワークにプルーニングを統合し、通信効率がFedAvgと同等でありながら局所的性能を向上させる新しいアルゴリズム「FedPruning」を構築する。
• マグニチュードベースなどのプルーニングポリシーを適用して、重要度の低い重みを削除することで、エッジデバイスに適したコンパクトでエネルギー効率の良いモデルを実現する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるモデルプルーニングは、非IIDな農業データに対して、標準的なFedAvgと比較して、局所的推論性能を向上させることができるか？
• RQ2 性能を損なわせることなく、フェデレーテッド収量予測において、どの程度モデルサイズと通信コストを削減できるか？
• RQ3 局所的プルーニングは、農業食品分野のクライント固有のデータ分布において、より良い一般化性能を実現できるか？
• RQ4 実世界の収量予測タスクにおいて、プルーニングを施したフェデレーテッドモデルの性能は、集中型トレーニングのベースラインと比較してどの程度か？
• RQ5 FedPruningは、低帯域幅の農村部におけるエッジデバイスに効果的にデプロイ可能か？

主な発見

• FedPruningは、トウモロコシ収量予測データセットを用いた複数年の実験およびさまざまなプルーニングポリシーにおいて、FedAvgと比較して局所的推論性能を15.5%～20%向上させた。
• 本手法により、プルーニングされていないモデルと比較して、局所モデルサイズは最大84%削減され、メモリおよびエネルギー効率が著しく向上した。
• 各フェデレーテッドラーニングラウンドでクライントとサーバー間で送信されるモデルパラメータが小さくなったため、通信コストは57.1%～64.7%削減された。
• 大多数の設定において、分散学習とプルーニングを経たにもかかわらず、FedPruningは集中型トレーニングのベースラインと同等またはわずかに優れた性能を達成した。
• 非IIDデータを伴う分散環境でも、中程度にプルーニングされたモデルが、プルーニングされていないモデルを上回る性能を示すという仮説を、結果が裏付けた。
• 計算および通信要求が低減されたことから、本手法は農村部の農業食品環境におけるエッジデバイスへの実用的デプロイメントを可能にする。