[논문 리뷰] FedNILM: Applying Federated Learning to NILM Applications at the Edge

Yu Zhang, Guoming Tang외 4명|arXiv (Cornell University)|2021. 06. 07.

Smart Grid Energy Management인용 수 6

한 줄 요약

FedNILM는 에지 디바이스에서 개인정보 보호 및 개인화된 비침습적 부하 모니터링(NILM)을 위한 연합 학습 프레임워크를 제안한다. 필터 프루닝과 다중 작업 학습을 통한 모델 압축 및 비지도 전이 학습을 결합하여 실세계 데이터에서 최신 기술 성능을 달성하면서도 사용자 개인정보를 보호하고 저사양 에지 하드웨어에서도 효율적으로 작동한다.

ABSTRACT

Non-intrusive load monitoring (NILM) helps disaggregate the household's main electricity consumption to energy usages of individual appliances, thus greatly cutting down the cost in fine-grained household load monitoring. To address the arisen privacy concern in NILM applications, federated learning (FL) could be leveraged for NILM model training and sharing. When applying the FL paradigm in real-world NILM applications, however, we are faced with the challenges of edge resource restriction, edge model personalization and edge training data scarcity. In this paper we present FedNILM, a practical FL paradigm for NILM applications at the edge client. Specifically, FedNILM is designed to deliver privacy-preserving and personalized NILM services to large-scale edge clients, by leveraging i) secure data aggregation through federated learning, ii) efficient cloud model compression via filter pruning and multi-task learning, and iii) personalized edge model building with unsupervised transfer learning. Our experiments on real-world energy data show that, FedNILM is able to achieve personalized energy disaggregation with the state-of-the-art accuracy, while ensuring privacy preserving at the edge client.

연구 동기 및 목표

• 사용자 데이터를 중앙 집중화하지 않고도 개인정보 보호를 보장하면서 비침습적 부하 모니터링(NILM)의 학습을 가능하게 하기 위해.
• 딥 러닝 모델을 구동하기 위해 저성능 에지 디바이스의 계산 능력, 메모리 용량, 대역폭 제약를 극복하기 위해.
• 다양한 가정에서 기기 사용 패턴이 상이한 환경에서도 모델의 일반화 능력과 개인화 성능을 향상시키기 위해.
• 공개 데이터셋(예: REDD)에서의 학습과 실제 가정(예: UK-DALE) 간의 도메인 분포 변화로 인한 성능 저하 문제를 완화하기 위해.
• NVIDIA Jetson Nano와 같은 저사양 에지 디바이스에서 실시간 에너지 분해를 효율적으로 수행하기 위해.

제안 방법

• 원시 가정 에너지 데이터를 수집하지 않고도 데이터 프라이버시를 보장하면서도 글로벌 NILM 모델을 훈련하기 위해 연합 학습 기법을 활용한다.
• MTL-Seq2Point 모델의 크기와 추론 비용을 줄이기 위해 필터 프루닝과 다중 작업 학습을 적용하여 모델를 압축한다.
• CORAL(도메인 적응)을 활용한 비지도 전이 학습을 통해 소스 도메인과 타겟 도메인 간의 특징 분포를 정렬한다.
• 현지 메인 전력 데이터를 사용하여 에지 디바이스에서 마지막 완전 연결 레이어를 국소적으로 미세조정하여 모델을 개인화한다.
• 지역적으로 업데이트된 모델을 평균화하여 글로벌 모델을 반복적으로 개선하는 연합 평균 기법을 사용한다.
• 압축 및 개인화된 모델을 에지 디바이스에 배포하여 1초 이내의 지연 시간으로 실시간 추론을 수행한다.

Figure 1: (a) The DNN structure adopted by Seq2Point model. (b) The DNN structure for MTL-Seq2Point model, i.e., shared convolutional and fully connected layers for $N$ appliances.

실험 결과

연구 질문

• RQ1 저사양 환경에서 개인정보 보호를 유지하면서도 자원 제약 조건을 고려해 연합 학습을 NILM에 효과적으로 적용할 수 있는가?
• RQ2 필터 프루닝과 다중 작업 학습과 같은 모델 압축 기법은 분해 정확도를 저하시키지 않고 모델 크기를 어떻게 줄일 수 있는가?
• RQ3 공개 데이터셋(예: REDD)에서 학습한 모델을 사용해 예측할 수 없는 가정(예: UK-DALE)으로 일반화할 때 비지도 전이 학습은 얼마나 성능 향상에 기여하는가?
• RQ4 미리 학습된 모델의 마지막 완전 연결 레이어를 미세조정하면 타겟 가정의 데이터에서 성능에 어떤 영향을 미치는가?
• RQ5 제안된 FedNILM 프레임워크는 저사양 에지 디바이스에서 고정확도의 개인화된 에너지 분해를 달성할 수 있는가?

주요 결과

• 전이 학습을 통해 타겟 도메인에서 MAE는 최대 45.84% 향상되었고, SAE는 82.39% 향상되었으며, F1-스코어는 절대값 기준으로 -27.27% 향상되었다.
• CORAL을 활용한 전이 학습은 다양한 기기에서 MAE를 최대 45% 감소시키고 SAE는 최대 86.63% 감소시켜 강력한 도메인 적응 능력을 입증했다.
• 마지막 완전 연결 레이어를 미세조정하는 것이 고정시키는 것보다 성능이 뛰어나며, MAE와 SAE는 낮아지고 F1-스코어는 높아졌다.
• Jetson Nano에서 기기당 모델 훈련 시간은 약 100초이며, 추론 시간은 1초 미만으로 실시간 운영이 가능하다.
• conv1에서 conv5까지의 레이어를 전이할수록 성능이 점차 향상되며, 이는 소스 도메인의 미리 학습된 특징이 타겟 도메인에서의 일반화 능력을 향상시킨다는 것을 시사한다.
• 자원 제약이 있는 에지 디바이스에서 높은 정확도와 개인정보 보호를 유지하면서도 효율적으로 작동하여 실세계 NILM 응용 분야에서 실용적인 가능성을 입증했다.

Figure 2: Overview of the FedNILM framework.