[论文解读] Federated Prompt Learning for Weather Foundation Models on Devices

Shengchao Chen, Guodong Long+3 more|arXiv (Cornell University)|May 23, 2023

Hydrological Forecasting Using AI被引用 6

一句话总结

该论文提出了 FedWing，一种用于天气预报的联邦提示学习框架，通过轻量级时空提示实现跨分布式气象站的高效、隐私保护的知识共享。通过利用自适应提示和动态图建模，该方法在保持极低通信开销的同时实现了高精度的预测，并支持基于地理位置的个性化模型。

ABSTRACT

On-device intelligence for weather forecasting uses local deep learning models to analyze weather patterns without centralized cloud computing, holds significance for supporting human activates. Federated Learning is a promising solution for such forecasting by enabling collaborative model training without sharing raw data. However, it faces three main challenges that hinder its reliability: (1) data heterogeneity among devices due to geographic differences; (2) data homogeneity within individual devices and (3) communication overload from sending large model parameters for collaboration. To address these challenges, this paper propose Federated Prompt Learning for Weather Foundation Models on Devices (FedPoD), which enables devices to obtain highly customized models while maintaining communication efficiency. Concretely, our Adaptive Prompt Tuning leverages lightweight prompts guide frozen foundation model to generate more precise predictions, also conducts prompt-based multi-level communication to encourage multi-source knowledge fusion and regulate optimization. Additionally, Dynamic Graph Modeling constructs graphs from prompts, prioritizing collaborative training among devices with similar data distributions to against heterogeneity. Extensive experiments demonstrates FedPoD leads the performance among state-of-the-art baselines across various setting in real-world on-device weather forecasting datasets.

研究动机与目标

• 解决在分布式、资源有限的气象站中，联邦天气预报面临的统计异质性和地理异质性挑战。
• 在不传输原始气象数据的前提下实现高效的知识共享，保护隐私并降低通信成本。
• 基于本地地理和地形特征，支持每个客户端的个性化模型适配。
• 利用轻量级提示和服务器端动态图构建，建模气象站之间的复杂时空相关性。
• 证明自适应提示在提升预测精度的同时，保持低参数量和低通信开销的有效性。

提出的方法

• 该方法在服务器端使用预训练的基础模型，客户端通过学习编码时间、变量级别和空间信息的自适应提示（APs）对其进行微调。
• 自适应提示（APs）在本地学习并共享给其他客户端，实现知识迁移，而无需传输原始数据或完整模型权重。
• 服务器利用客户端提供的经纬度信息和AP嵌入，构建动态图以建模站点间的时空相关性。
• 提出一种新型本地损失函数，用于正则化提示学习，提升泛化能力和个性化表现，超越标准MSE损失。
• 通信仅交换自适应提示和聚合后的图信息，不传输原始数据或完整模型参数。
• 该框架支持多种提示配置（时间、变量、空间或组合），并采用基于注意力的聚合机制进行提示更新。

实验结果

研究问题

• RQ1 自适应提示是否能在不共享原始数据的前提下，有效捕捉联邦天气预报中的时空动态？
• RQ2 与传统的模型参数聚合相比，基于提示的通信在准确性和通信效率方面表现如何？
• RQ3 空间提示在多大程度上提升了地理上不同的气象站的个性化能力？
• RQ4 与标准MSE损失相比，所提出的本地损失函数是否能提升个性化联邦学习中的模型性能？
• RQ5 基于APs和位置数据的动态图建模是否能有效重建分布式气象站之间的时空相关性？

主要发现

• 在任务1中，所提方法在使用完整自适应提示时，测试MAE为23.7，RMSE为32.8，优于基线MSE损失（MAE 25.0，RMSE 34.4）。
• 仅使用空间提示时，任务1的MAE从30.8降至29.4，证明其在捕捉地理差异方面的有效性。
• 时间、变量和空间提示的组合（完整APs）表现最佳，在任务1中实现23.7/32.8的MAE/RMSE，在任务2中实现44.3/65.5。
• 所提出的本地损失函数在所有提示配置下，均在两个任务中持续优于标准MSE损失。
• 仅使用时间或变量提示的性能优于无提示设置，表明每类提示在表示学习中均有显著贡献。
• 该方法将可训练参数从5.3M（从零开始训练）减少至159K，同时平均MAE降低30%，展现出高效率与高精度。