[論文レビュー] Federated Prompt Learning for Weather Foundation Models on Devices

Shengchao Chen, Guodong Long+3 more|arXiv (Cornell University)|May 23, 2023

Hydrological Forecasting Using AI被引用数 6

ひとこと要約

本稿では、分散型気象観測所間でプライバシーを守りながら効率的な知識共有を可能にする、軽量な空間時系列プロンプトを用いたフェデレーテッド・プロンプト学習フレームワーク「FedWing」を提案する。適応的プロンプトと動的グラフモデリングを活用することで、通信コストを最小限に抑えつつ高い予測精度を達成し、地理的場所に応じたパーソナライズドモデルの構築も可能となる。

ABSTRACT

On-device intelligence for weather forecasting uses local deep learning models to analyze weather patterns without centralized cloud computing, holds significance for supporting human activates. Federated Learning is a promising solution for such forecasting by enabling collaborative model training without sharing raw data. However, it faces three main challenges that hinder its reliability: (1) data heterogeneity among devices due to geographic differences; (2) data homogeneity within individual devices and (3) communication overload from sending large model parameters for collaboration. To address these challenges, this paper propose Federated Prompt Learning for Weather Foundation Models on Devices (FedPoD), which enables devices to obtain highly customized models while maintaining communication efficiency. Concretely, our Adaptive Prompt Tuning leverages lightweight prompts guide frozen foundation model to generate more precise predictions, also conducts prompt-based multi-level communication to encourage multi-source knowledge fusion and regulate optimization. Additionally, Dynamic Graph Modeling constructs graphs from prompts, prioritizing collaborative training among devices with similar data distributions to against heterogeneity. Extensive experiments demonstrates FedPoD leads the performance among state-of-the-art baselines across various setting in real-world on-device weather forecasting datasets.

研究の動機と目的

• 分散型でリソースが限られた気象観測所に跨るフェデレーテッド気象予測における統計的・地理的不均一性の課題に対処すること。
• 生データを送信せずに、プライバシーを保護するとともに通信コストを削減する効率的な知識共有を可能にすること。
• 各地域の地理的・地形的特徴に基づいて、各クライアントごとにパーソナライズドなモデル適応を支援すること。
• 軽量なプロンプトとサーバー側での動的グラフ構築を用いて、気象観測所間の複雑な空間時系列相関をモデル化すること。
• 適応的プロンプトが、パrameter数と通信コストを抑えつつ予測精度を向上させることの有効性を示すこと。

提案手法

• サーバーでは事前学習済みの基礎モデルを採用し、クライアントは時系列、変数レベル、空間的情報を符号化する適応的プロンプト（APs）を用いてファインチューニングする。
• 適応的プロンプト（APs）はローカルで学習され、トレーニング中にクライアント間で共有され、生データや完全なモデル重みを送信せずに知識移行が可能となる。
• サーバーはクライアントが提供する緯度・経度とAP埋め込み表現を用いて動的グラフを構築し、観測所間の空間時系列相関をモデル化する。
• 一般化とパーソナライズド性の向上を図るため、標準のMSE損失を超える新たなローカル損失関数を提案する。
• 通信では、生データや完全なモデルパラメータではなく、適応的プロンプトと集約されたグラフ情報のみを送信する。
• 複数のプロンプト設定（時系列、変数、空間、または組み合わせ）をサポートし、アテンションベースの集約を用いてプロンプトの更新を行う。

実験結果

リサーチクエスチョン

• RQ1 生データを共有せずに、適応的プロンプトがフェデレーテッド気象予測において空間時系列ダイナミクスを効果的に捉えられるか？
• RQ2 通信効率と精度の観点から、プロンプトベース通信は従来のモデルパラメータ集約と比べてどのように優れているか？
• RQ3 空間プロンプトは、地理的に異なる気象観測所に対して、どの程度パーソナライズド性を向上させるか？
• RQ4 提案されたローカル損失関数は、標準のMSE損失と比較して、パーソナライズドフェデレーテッド学習におけるモデル性能を向上させるか？
• RQ5 APと位置情報に基づく動的グラフモデリングは、分散型気象観測所間の空間時系列相関を効果的に再構築できるか？

主な発見

• 全適応的プロンプトを用いた場合、タスク1でテストMAEが23.7、RMSEが32.8を達成し、ベースラインのMSE損失（MAE 25.0、RMSE 34.4）を上回った。
• 空間プロンプトを単独で組み込むことで、タスク1のMAEは30.8から29.4に低下し、地理的ばらつきを捉える有効性が示された。
• 時系列、変数、空間プロンプトの組み合わせ（全APs）が最良の性能を示し、タスク1では23.7/32.8のMAE/RMSE、タスク2では44.3/65.5を達成した。
• 提案されたローカル損失関数は、両タスクの全プロンプト設定において、標準のMSE損失を常に上回る性能を示した。
• 時系列または変数プロンプトのみを用いても、プロンプトなしの状態より性能が向上したため、各プロンプトタイプが表現学習に有意義に寄与していることが示された。
• トレーニングから再学習する場合の可学習パラメータ数530万から15万9千に削減され、MAEは平均で30％改善された。これは、高い効率性と精度を両立していることを示している。