[논문 리뷰] Federated Prompt Learning for Weather Foundation Models on Devices

Shengchao Chen, Guodong Long외 3명|arXiv (Cornell University)|2023. 05. 23.

Hydrological Forecasting Using AI인용 수 6

한 줄 요약

이 논문은 분산된 기상 관측소 간에 효율적이고 프라이버시를 보장하는 지식 공유를 가능하게 하는 경량의 공간-시간 프롬프트를 사용하는 피어드 프롬프트 학습 프레임워크인 FedWing을 제안한다. 적응형 프롬프트와 동적 그래프 모델링을 활용하여, 통신 오버헤드를 최소화하면서도 높은 예측 정확도를 달성하며, 지리적 위치에 맞는 개인화된 모델을 지원한다.

ABSTRACT

On-device intelligence for weather forecasting uses local deep learning models to analyze weather patterns without centralized cloud computing, holds significance for supporting human activates. Federated Learning is a promising solution for such forecasting by enabling collaborative model training without sharing raw data. However, it faces three main challenges that hinder its reliability: (1) data heterogeneity among devices due to geographic differences; (2) data homogeneity within individual devices and (3) communication overload from sending large model parameters for collaboration. To address these challenges, this paper propose Federated Prompt Learning for Weather Foundation Models on Devices (FedPoD), which enables devices to obtain highly customized models while maintaining communication efficiency. Concretely, our Adaptive Prompt Tuning leverages lightweight prompts guide frozen foundation model to generate more precise predictions, also conducts prompt-based multi-level communication to encourage multi-source knowledge fusion and regulate optimization. Additionally, Dynamic Graph Modeling constructs graphs from prompts, prioritizing collaborative training among devices with similar data distributions to against heterogeneity. Extensive experiments demonstrates FedPoD leads the performance among state-of-the-art baselines across various setting in real-world on-device weather forecasting datasets.

연구 동기 및 목표

• 분산된 저자원 기상 관측소 간의 통계적 및 지리적 이질성 문제를 해결하기 위해.
• 원시 기상 데이터를 전송하지 않고도 효율적인 지식 공유를 가능하게 하여 프라이버시를 보호하고 통신 비용을 절감하기 위해.
• 각 클라이언트의 지역적 지형적 특성에 기반한 개인화된 모델 적응을 지원하기 위해.
• 가벼운 프롬프트와 서버 기반 동적 그래프 구축을 통해 기상 관측소 간의 복잡한 공간-시간 상관관계를 모델링하기 위해.
• 적응형 프롬프트가 예측 정확도를 향상시키면서도 낮은 파라미터 수와 통신 오버헤드를 유지하는지 입증하기 위해.

제안 방법

• 서버에서는 사전 학습된 기초 모델을 사용하고, 클라이언트는 시간, 변수 수준, 공간 정보를 인코딩한 적응형 프롬프트(APs)를 사용하여 이를 미세조정한다.
• 적응형 프롬프트(APs)는 로컬에서 학습되며, 훈련 중에 클라이언트 간에 공유되어 원시 데이터나 전체 모델 가중치를 전송하지 않고도 지식 전이를 가능하게 한다.
• 서버는 클라이언트가 제공한 위도/경도 및 AP 임베딩을 사용하여 기상 관측소 간의 공간-시간 상관관계를 모델링하는 동적 그래프를 구축한다.
• 일반적인 MSE 손실 함수를 초월해 일반화 및 개인화를 향상시키기 위해, 프롬프트 학습을 정규화하는 새로운 국소 손실 함수를 제안한다.
• 통신 과정에서는 원시 데이터나 전체 모델 파라미터 대신, 적응형 프롬프트와 집계된 그래프 정보만 교환한다.
• 프롬프트 구성(시간, 변수, 공간, 또는 병합)을 다중으로 지원하며, 프롬프트 업데이트에 주목적 기반 집계를 사용한다.

실험 결과

연구 질문

• RQ1 원시 데이터를 공유하지 않고도 적응형 프롬프트가 피어드 기상 예측에서 공간-시간 역학을 효과적으로 포착할 수 있는가?
• RQ2 기존의 모델 가중치 집계 방식과 비교해 봤을 때, 프롬프트 기반 통신 방식은 정확도와 통신 효율성 측면에서 어떻게 다른가?
• RQ3 공간 프롬프트는 지리적으로 상이한 기상 관측소에 대해 개인화 수준을 어느 정도 향상시키는가?
• RQ4 제안된 국소 손실 함수는 표준 MSE 손실 함수와 비교해 개인화된 피어드 학습에서 모델 성능을 향상시키는가?
• RQ5 APs와 위치 데이터를 기반으로 한 동적 그래프 모델링은 분산된 기상 관측소 간의 공간-시간 상관관계를 효과적으로 재구성할 수 있는가?

주요 결과

• 전체 적응형 프롬프트를 사용할 경우, Task 1에서 테스트 MAE 23.7, RMSE 32.8을 기록하여 기준 MSE 손실(마에 25.0, 루트마에 34.4)을 초월하는 성능을 달성했다.
• 공간 프롬프트만을 도입했을 때, Task 1에서 마에는 30.8에서 29.4로 감소하여 지리적 변동성을 효과적으로 포착함을 입증했다.
• 시간, 변수, 공간 프롬프트의 조합(전체 APs)이 가장 우수한 성능을 보였으며, Task 1에서는 마에/루트마에 23.7/32.8, Task 2에서는 44.3/65.5를 기록했다.
• 제안된 국소 손실 함수는 모든 프롬프트 구성에서 두 작업 모두에서 표준 MSE 손실 함수를 일관되게 능가했다.
• 시간 또는 변수 프롬프트만을 사용하는 것도 프롬프트 없이 학습하는 것보다 성능 향상을 보였으며, 각 프롬프트 유형이 표현 학습에 의미 있는 기여를 한다는 것을 시사했다.
• 학습을 처음부터 수행할 경우 530만 파라미터에서, 본 방법은 15만 9천 파라미터로 줄였고, 평균적으로 마에를 30% 향상시켜 높은 효율성과 정확도를 동시에 확보했다.