[논문 리뷰] Model Pruning Enables Localized and Efficient Federated Learning for Yield Forecasting and Data Sharing

Andy Li, Milan Marković외 2명|arXiv (Cornell University)|2023. 04. 19.

Privacy-Preserving Technologies in Data참고 문헌 57인용 수 4

한 줄 요약

이 논문은 소이식 수확량 예측을 위한 국소적이고 프라이버시를 보장하는 모델 훈련을 가능하게 하는 통신 효율적인 플랫폼 학습 프레임워크인 연합 프루닝(FedPruning)을 제안한다. 이 방법은 모델 집합 이전에 신경망 프루닝을 클라이언트 모델에 적용함으로써, FedAvg 대비 국소 추론 성능을 15.5–20% 향상시키고, 모델 크기를 최대 84% 줄이며, 통신 비용을 57.1–64.7% 감소시킨다.

ABSTRACT

Federated Learning (FL) presents a decentralized approach to model training in the agri-food sector and offers the potential for improved machine learning performance, while ensuring the safety and privacy of individual farms or data silos. However, the conventional FL approach has two major limitations. First, the heterogeneous data on individual silos can cause the global model to perform well for some clients but not all, as the update direction on some clients may hinder others after they are aggregated. Second, it is lacking with respect to the efficiency perspective concerning communication costs during FL and large model sizes. This paper proposes a new technical solution that utilizes network pruning on client models and aggregates the pruned models. This method enables local models to be tailored to their respective data distribution and mitigate the data heterogeneity present in agri-food data. Moreover, it allows for more compact models that consume less data during transmission. We experiment with a soybean yield forecasting dataset and find that this approach can improve inference performance by 15.5% to 20% compared to FedAvg, while reducing local model sizes by up to 84% and the data volume communicated between the clients and the server by 57.1% to 64.7%.

연구 동기 및 목표

• 농장 간 데이터 분포가 상이한 농업-식량 응용 분야에서 연합 학습의 데이터 이질성 문제를 해결한다.
• 자원 제약이 있는 농촌 농업 환경에서 엣지 디바이스에 배포 가능한 통신 오버헤드와 모델 크기를 줄인다.
• 국소적 프루닝을 통해 클라이언트 모델이 고유한 데이터 분포에 적응할 수 있도록 하여 국소 추론 성능을 향상시킨다.
• 기존 FedAvg와 비교해 연합 훈련 중 프루닝을 적용할 경우 모델 효율성과 성능을 동시에 향상시킬 수 있음을 입증한다.
• 원시 데이터를 공유하지 않고도 농장 간 안전하고 탈중앙화된 협업을 가능하게 하여 지속 가능하고 투명한 농업-식량 시스템을 지원한다.

제안 방법

• 매 연합 학습 라운드에서 모델 집합 이전에 개별 클라이언트 모델에 구조적 크기 기반 프루닝을 적용하여 모델 크기와 통신 비용을 줄인다.
• 클라이언트 모델을 독립적으로 자신의 국소 비독립 동일 분포(non-IID) 데이터에서 훈련함으로써, 각각 고유한 데이터 기반 표현을 학습할 수 있도록 한다.
• 중앙 서버에서 프루닝된 클라이언트 모델만 집합하여 글로벌 모델을 형성함으로써 프라이버시를 유지하고 데이터 전송량을 줄인다.
• 모델 성능를 유지하면서 최대한의 희박성(sparsity)을 확보하기 위해 프루닝 스케줄을 적용하며, 프루닝은 로컬 데이터 특성에 따라 각 클라이언트별로 적용된다.
• FedAvg 프레임워크에 프루닝을 통합하여, FedAvg의 통신 효율성을 유지하면서도 국소 성능을 향상시킨 새로운 알고리즘인 FedPruning을 개발한다.
• 크기 기반 등의 프루닝 정책을 적용하여 낮은 중요도의 가중치를 제거함으로써, 엣지 배포에 적합한 컴act하고 에너지 효율적인 모델을 생성한다.

실험 결과

연구 질문

• RQ1 비독립 동일 분포(non-IID) 농업 데이터에서 연합 학습 중 모델 프루닝이 기존 FedAvg 대비 국소 추론 성능를 향상시킬 수 있는가?
• RQ2 성능 손실 없이 프루닝이 연합 수확량 예측에서 모델 크기와 통신 비용을 어느 정도 줄일 수 있는가?
• RQ3 국소적 프루닝이 농업-식량 응용 분야에서 클라이언트 고유의 데이터 분포에 대해 더 나은 일반화를 가능하게 하는가?
• RQ4 실제 수확량 예측 작업에서 프루닝된 연합 모델의 성능은 중심화된 훈련 기준선과 비교해 어떻게 되는가?
• RQ5 FedPruning는 농촌, 저대역폭 농업 환경에서 엣지 디바이스에 효과적으로 배포될 수 있는가?

주요 결과

• FedPruning는 다년간의 소이식 수확량 예측 데이터셋과 다양한 프루닝 정책을 적용한 결과, FedAvg 대비 국소 추론 성능을 15.5%에서 20% 향상시켰다.
• 비프루닝 모델 대비 국소 모델 크기를 최대 84%까지 줄여 메모리 및 에너지 효율성을 크게 향상시켰다.
• 각 연합 학습 라운드에서 클라이언트와 서버 간 전송되는 모델 파rameter의 크기가 작아져 통신 비용이 57.1%에서 64.7% 감소했다.
• 대부분의 설정에서, 분산 훈련과 프루닝에도 불구하고 FedPruning는 중심화된 훈련 기준선과 유사하거나 略적으로 뛰어난 성능을 달성했다.
• 비독립 동일 분포 데이터가 존재하는 분산 환경에서도 중간 정도로 프루닝된 모델이 비프루닝 모델보다 성능이 뛰어날 수 있다는 가설을 결과가 뒷받침한다.
• 계산 및 통신 요구량이 감소함에 따라, 이 방법은 농촌 농업 환경에서 엣지 디바이스에 실용적으로 배포할 수 있다.