[논문 리뷰] A Secure Federated Learning Framework for Residential Short Term Load Forecasting

Muhammad Akbar Husnoo, Adnan Anwar외 4명|arXiv (Cornell University)|2022. 09. 29.

Electricity Theft Detection Techniques인용 수 6

한 줄 요약

이 논문은 주거용 단기 부하 예측을 위한 안전하고 차별적 비밀보장 기반의 분산 학습 프레임워크를 제안한다. Sign Stochastic Gradient Descent (SignSGD)를 사용하여 Byzantine 공격에 대한 강건성과 데이터 프라이버시를 향상시킨다. 이 방법은 통신 오버헤드를 줄이고 악성 클라이언트 노드가 증가하는 상황에서도 모델 수렴을 유지하며, 정확도와 계산 효율성에서 FedSGD 대비 30% 향상된다.

ABSTRACT

Smart meter measurements, though critical for accurate demand forecasting, face several drawbacks including consumers' privacy, data breach issues, to name a few. Recent literature has explored Federated Learning (FL) as a promising privacy-preserving machine learning alternative which enables collaborative learning of a model without exposing private raw data for short term load forecasting. Despite its virtue, standard FL is still vulnerable to an intractable cyber threat known as Byzantine attack carried out by faulty and/or malicious clients. Therefore, to improve the robustness of federated short-term load forecasting against Byzantine threats, we develop a state-of-the-art differentially private secured FL-based framework that ensures the privacy of the individual smart meter's data while protect the security of FL models and architecture. Our proposed framework leverages the idea of gradient quantization through the Sign Stochastic Gradient Descent (SignSGD) algorithm, where the clients only transmit the `sign' of the gradient to the control centre after local model training. As we highlight through our experiments involving benchmark neural networks with a set of Byzantine attack models, our proposed approach mitigates such threats quite effectively and thus outperforms conventional Fed-SGD models.

연구 동기 및 목표

• 데이터 공유와 잠재적 사이버 위협으로 인한 스마트 그리드 부하 예측의 프라이버시 및 보안 취약점을 해결한다.
• 주거용 부하 예측을 위한 분산 학습에서 Byzantine 공격의 위험을 완화한다.
• 실제 스마트 그리드 구현에 적합한 통신 효율성과 프라이버시 보장 기능을 갖춘 FL 프레임워크를 개발한다.
• 데이터 풀링, 모델 누출, 공모 공격 등의 위협 상황에서도 모델의 강건성을 확보한다.
• 기울기 양자화와 노이즈 주입을 통해 계산 효율성을 향상시켜 확장성을 높인다.

제안 방법

• 기울기의 부호만 전송하는 Sign Stochastic Gradient Descent (SignSGD)를 활용하여 전체 기울기 전송을 줄여 통신 오버헤드를 감소시키고 강건성을 향상시킨다.
• 클라이언트 측에서 모델 파라미터에 국소 노이즈를 추가하여 차별적 비밀보장을 적용함으로써 기울기에서 원시 데이터를 복원하는 것을 방지한다.
• 로컬 데이터 풀링, 모델 누출 및 풀링, 공모 공격을 포함한 세 가지 데이터 무결성 위협 모델을 설계하고 평가한다.
• 모델 훈련은 오프라인에서 수행하고 추론은 온라인에서 실행하는 하이브리드 훈련-추론 파이프라인을 사용하여 계산을 실시간 제약 조건에서 분리한다.
• 클라이언트 업데이트를 양자화하고 프라이버시를 보장한 후 중앙 집중식 집계 메커니즘을 통해 글로벌 모델을 구성한다.
• 실제 오스트레일리아 Ausgrid 에너지 소비 데이터를 활용하여 다양한 공격 시나리오에서의 실증 평가를 수행한다.

Figure 1: An illustration of the steps involved in FL.

실험 결과

연구 질문

• RQ1 주거용 부하 예측에서 Byzantine 클라이언트 노드 수가 증가함에 따라 SignSGD 기반 분산 학습은 어떻게 성능을 발휘하는가?
• RQ2 SignSGD를 통한 기울기 양자화는 데이터 풀링 및 모델 조작 공격에 대해 얼마나 높은 강건성을 제공하는가?
• RQ3 클라이언트 수준에서 적용된 차별적 비밀보장이 기울기 반전 공격을 효과적으로 방지할 수 있는가? 이는 모델 정확도에 심각한 영향을 주지 않는가?
• RQ4 SignSGD의 계산 효율성은 훈련 시간과 통신 비용 측면에서 FedSGD 및 FedAvg에 비해 어떻게 비교되는가?
• RQ5 프라이버시 보장 기반의 분산 학습 환경에서 노이즈 주입이 모델 수렴과 예측 정확도에 미치는 영향은 어떠한가?

주요 결과

• SignSGD는 최대 50%의 클라이언트가 악성일 경우에도 안정적인 수렴과 낮은 손실을 유지했으며, FedSGD는 빠른 성능 저하와 발산을 보였다.
• 제안된 프레임워크는 FedAvg 대비 약 20%, FedSGD 대비 30%의 훈련 시간 단축을 기록하여 기울기 전송 크기 감소로 인한 성능 향상을 입증했다.
• 국소 노이즈 주입을 통한 차별적 비밀보장이 기울기 반전 공격을 효과적으로 방지했으며, 개인 데이터 프라이버시를 유지하면서도 정확도 손실이 미미했다.
• 모델은 로컬 데이터 풀링, 모델 누출 및 풀링, 공모 공격을 포함한 세 가지 별도의 Byzantine 위협 모델 모두에서 강건성을 유지했다.
• 실제 Ausgrid 데이터를 활용한 실증 평가 결과, 제안된 프레임워크는 표준 FL 환경과 비교해 유사한 예측 정확도를 확보하면서도 보안성과 효율성을 크게 향상시켰다.
• 이 프레임워크는 뛰어난 일반화 능력과 확장성을 보이며, 프라이버시에 민감한 스마트 그리드 환경에서의 구현에 적합함을 입증했다.

Figure 2: An illustration of proposed approach.