[논문 리뷰] Federated Learning for Short-term Residential Load Forecasting

Christopher Briggs, Fan Zhong외 1명|arXiv (Cornell University)|2021. 05. 27.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 소비자 데이터 기밀을 보장하기 위해 스마트 미터에서 로컬으로 모델을 훈련하면서도 글로벌 모델 업데이트를 집계하는 연합 학습(FL) 기반의 단기 주거용 부하 예측 방법을 제안한다. FL과 계층적 클러스터링(FL+HC)을 조합하고 개인화 단계를 추가함으로써 국지적 모델보다 최대 5% 높은 예측 정확도를 달성하며, 계산량은 약 10배 감소하여 기밀 보장이 되는 고성능 부하 예측의 실현 가능성을 입증한다.

ABSTRACT

Load forecasting is an essential task performed within the energy industry to help balance supply with demand and maintain a stable load on the electricity grid. As supply transitions towards less reliable renewable energy generation, smart meters will prove a vital component to facilitate these forecasting tasks. However, smart meter adoption is low among privacy-conscious consumers that fear intrusion upon their fine-grained consumption data. In this work we propose and explore a federated learning (FL) based approach for training forecasting models in a distributed, collaborative manner whilst retaining the privacy of the underlying data. We compare two approaches: FL, and a clustered variant, FL+HC against a non-private, centralised learning approach and a fully private, localised learning approach. Within these approaches, we measure model performance using RMSE and computational efficiency. In addition, we suggest the FL strategies are followed by a personalisation step and show that model performance can be improved by doing so. We show that FL+HC followed by personalisation can achieve a $\sim$5\% improvement in model performance with a $\sim$10x reduction in computation compared to localised learning. Finally we provide advice on private aggregation of predictions for building a private end-to-end load forecasting application.

연구 동기 및 목표

• 스마트 미터 도입을 저해하는 기밀 문제를 해결하기 위해 분산형으로 부하 예측 모델을 훈련할 수 있도록 하는 것.
• 중앙집중식 및 국지적 학습 기준과 비교하여 연합 학습(FL)과 군집화 변형(FL+HC)의 성능을 평가하는 것.
• FL 기반 부하 예측에서 계산 효율성과 모델 성능 간의 상호 보완 관계를 분석하는 것.
• FL 훈련 이후 개인화 단계가 모델 정확도에 미치는 영향을 조사하는 것.
• 종단 간 기밀 보장 예측 시스템을 완성하기 위해 예측값의 기밀 집계 방법을 안내하는 것.

제안 방법

• 연구는 주거용 에너지 소비 데이터의 시계열 부하 예측을 위해 장기 단기 기억(기억) 네트워크(LSTM)를 사용한다.
• 연합 학습(FL)을 통해 원시 데이터를 공유하지 않고도 클라이언트(가정)의 국지적 모델 업데이트를 집계하여 글로벌 모델을 훈련시킨다.
• 비독립 동일 분포(Non-IID) 데이터를 다루기 위해 K-평균 군집화를 사용해 유사한 클라이언트를 그룹화한 후, 클러스터별로 특화된 모델을 훈련시키는 FL+HC라는 군집화 변형을 적용한다.
• 글로벌 FL 훈련 이후, 각 클라이언트의 로컬 데이터를 사용해 모델을 미세 조정하는 개인화 단계를 추가하여 개별 성능을 향상시킨다.
• 계산 효율성은 총 훈련 샘플 수(백만 단위) 기준으로 FL, FL+HC, 중앙집중식, 국지적 훈련 방식을 비교하여 측정한다.
• 종단 간 기밀 보장 예측 시스템을 완성하기 위해 예측값의 기밀 집계를 최종 단계로 논의한다.

실험 결과

연구 질문

• RQ1 연합 학습은 데이터 기밀을 보장하면서도 중앙집중식 학습과 비교해 유사하거나 더 높은 예측 성능를 달성할 수 있는가?
• RQ2 FL+HC 군집화 접근 방식은 표준 FL 대비 비독립 동일 분포(Non-IID) 주거용 부하 데이터에서 성능을 어떻게 향상시키는가?
• RQ3 국지적 학습 대비 FL과 FL+HC의 계산 비용은 얼마나 되며, 절감 효과를 얻을 수 있는가?
• RQ4 FL 훈련 이후 개인화 단계를 적용하면 개별 가정의 모델 정확도가 뚜렷이 향상되는가?
• RQ5 종단 간 기밀 보장 예측 파이프라인을 완성하기 위해 예측값의 기밀 집계는 어떻게 구현할 수 있는가?

주요 결과

• FL+HC에 이어 개인화 단계를 거친 모델은 완전히 국지적 학습 대비 약 5% 높은 성능(RMSE 기준)을 기록한다.
• 최고 성능을 낸 FL+HC 모델은 국지적 학습 대비 약 10배 적은 훈련 샘플 수를 요구하여 계산 비용을 크게 감소시켰다.
• FL+HC는 평균 계산량을 국지적 훈련 대비 12.7배 감소시키고, 최고 성능 모델은 13.1배 감소시켰다.
• 개인화 단계는 추가 계산 비용이 극히 적었으며, 글로벌 FL 훈련 이후 몇 번의 미세 조정 에포크만으로도 충분했다.
• FL+HC는 표준 FL보다 우수했고, 기밀 보장 조건에서 중앙집중식 학습과 동등하거나 이를 초월하는 정확도를 확보했다.
• 예측값의 기밀 집계는 실현 가능하며, 완전한 기밀 보장 예측 시스템을 구축하기 위해 최종 단계로 권장된다.