[논문 리뷰] AMI-FML: A Privacy-Preserving Federated Machine Learning Framework for AMI

Milan Biswal, Abu Saleh Tayeen외 1명|arXiv (Cornell University)|2021. 09. 12.

Smart Grid Energy Management인용 수 6

한 줄 요약

이 논문은 스마트 미터 데이터에서 로컬 LSTM 모델을 훈련하고 중앙 집중형 집계기에서만 모델 가중치를 집계함으로써 사용자 데이터 프라이버시를 보존하는 프라이버시 보장형 분산 머신러닝 프레임워크인 AMI-FML을 제안한다. 이 프레임워크는 매일 모델 업데이트를 통해 MAE 기준으로 예측 정확도를 11% 향상시키며, NRMSE를 0.094로 줄이고, 양자화 및 구조적 희소화를 통해 통신 효율성을 향상시킨다.

ABSTRACT

Machine learning (ML) based smart meter data analytics is very promising for energy management and demand-response applications in the advanced metering infrastructure(AMI). A key challenge in developing distributed ML applications for AMI is to preserve user privacy while allowing active end-users participation. This paper addresses this challenge and proposes a privacy-preserving federated learning framework for ML applications in the AMI. We consider each smart meter as a federated edge device hosting an ML application that exchanges information with a central aggregator or a data concentrator, periodically. Instead of transferring the raw data sensed by the smart meters, the ML model weights are transferred to the aggregator to preserve privacy. The aggregator processes these parameters to devise a robust ML model that can be substituted at each edge device. We also discuss strategies to enhance privacy and improve communication efficiency while sharing the ML model parameters, suited for relatively slow network connections in the AMI. We demonstrate the proposed framework on a use case federated ML (FML) application that improves short-term load forecasting (STLF). We use a long short-term memory(LSTM) recurrent neural network (RNN) model for STLF. In our architecture, we assume that there is an aggregator connected to a group of smart meters. The aggregator uses the learned model gradients received from the federated smart meters to generate an aggregate, robust RNN model which improves the forecasting accuracy for individual and aggregated STLF. Our results indicate that with FML, forecasting accuracy is increased while preserving the data privacy of the end-users.

연구 동기 및 목표

• 원시 데이터 전송을 방지함으로써 AMI 데이터 분석에서 사용자 프라이버시 문제를 해결하기 위해.
• 스마트 그라이드에서 분산 머신러닝 응용을 위한 일반화된 분산 학습 프레임워크를 개발하기 위해.
• 모델 파rameter 압축을 통해 저대역폭 AMI 네트워크에서의 통신 효율성을 향상시키기 위해.
• 개별 사용자 데이터 폭 드러남 없이 협업적 모델 훈련을 통해 단기 부하 예측(STLF) 정확도를 향상시키기 위해.
• 실제 스마트 미터 데이터를 기반으로 한 LSTM 기반 STLF 응용에 대한 개념 증명을 통해 프레임워크를 검증하기 위해.

제안 방법

• 각 스마트 미터는 자체 소비 데이터에서 훈련된 로컬 LSTM 모델을 운영하며, 원시 데이터 대신 모델 가중치(기울기)를 공유한다.
• 중앙 집중형 집계기는 분산 평균 기법을 사용하여 모델 업데이트를 수거하고 집계함으로써 전역적이고 강건한 RNN 모델을 형성한다.
• 모델 파rameter의 구조적 희소화(랜덤 마스크)와 적응형 양자화(2~4비트)를 통해 통신 효율성을 향상시킨다.
• 파arameter 압축과 차별적 프라이버시 인식 기법을 통해 개인 데이터 패턴의 의도하지 않은 기억을 최소화한다.
• 모델 업데이트는 주기적으로 교환되며, 30분 또는 매일 갱신하여 반응성과 훈련 안정성의 균형을 맞춘다.
• LSTM 모델은 장기적인 시간적 종속성을 활용하여 일일 및 순차적 소비 패턴을 포착하도록 훈련되어, 예측 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 AMI 시스템에서 사용자 프라이버시를 보존하면서 스마트 미터 데이터 분석에 분산 학습을 효과적으로 적용할 수 있는가?
• RQ2 모델 업데이트 교환 주기(30분 대비 매일)가 AMI 환경에서 단기 부하 예측 정확도에 어떤 영향을 미치는가?
• RQ3 양자화 및 구조적 희소화를 통해 통신 효율성을 얼마나 향상시킬 수 있으며, 성능 저하 없이 가능한가?
• RQ4 4비트 양자화 및 랜덤 마스킹과 같은 모델 압축 기법이 데이터 전송 감소를 넘어서 프라이버시를 향상시킬 수 있는가?
• RQ5 분산 평균 기반으로 훈련된 전역 모델이 로컬 모델보다 단기 부하 예측에서 더 우수한 성능을 내는가?

주요 결과

• AMI-FML 프레임워크는 매일 모델 업데이트를 통해 평균 NRMSE를 0.094로 줄이고, MAE를 0.312로 낮춰 비분산 로컬 모델 대비 MAE 기준 11% 향상시켰다.
• 24시간 간격 업데이트 시, 30분 간격 업데이트보다 낮은 오차 지표를 기록하여 더 긴 시간적 시퀀스가 LSTM이 일일 소비 패턴을 학습하는 데 유리함을 시사했다.
• 4비트 적응형 양자화가 NRMSE 0.10과 MAE 0.32를 기록하며 전체 정밀도 기준선과 밀접하게 유사한 성능을 보여, 성능 손실 최소화로 효과적인 압축을 입증했다.
• 2%의 0으로 설정된 랜덤 마스크 희소화는 NRMSE 0.10과 MAE 0.34로 오차를 줄였으며, 이는 구조적 희소화가 예측 정확도를 유지함을 보여주었다.
• 원시 소비 데이터 폴드 노출 없이 오직 모델 파rameter만 전송함으로써 사용자 프라이버시가 성공적으로 보존되었다.
• 분산 학습 통합으로 모든 클러스터에서 예측 정확도가 향상되었으며, 반시간 및 매일 업데이트 시나리오 모두에서 일관된 오차 감소가 관찰되었다.