[논문 리뷰] Deep Recurrent Electricity Theft Detection in AMI Networks with Random Tuning of Hyper-parameters

Mahmoud Nabil, Muhammad Ismail외 4명|arXiv (Cornell University)|2018. 09. 06.

Electricity Theft Detection Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 전기도난 탐지에 대해 AMI 네트워크에서 고객의 에너지 소비의 시간적 패턴을 활용하는 일반화된 딥 순환 신경망(RNN)을 제안한다. 게이팅된 순환 단위(GRU)를 사용하며, 랜덤 초모수 튜닝을 통해 93.4%의 탐지율과 5.0%의 오류 수용률을 달성한다. 이는 기존의 고객별 SVM 기반 탐지기보다 F1-스코어에서 4% 높고, 오류 수용률을 55% 낮춘다.

ABSTRACT

Modern smart grids rely on advanced metering infrastructure (AMI) networks for monitoring and billing purposes. However, such an approach suffers from electricity theft cyberattacks. Different from the existing research that utilizes shallow, static, and customer-specific-based electricity theft detectors, this paper proposes a generalized deep recurrent neural network (RNN)-based electricity theft detector that can effectively thwart these cyberattacks. The proposed model exploits the time series nature of the customers' electricity consumption to implement a gated recurrent unit (GRU)-RNN, hence, improving the detection performance. In addition, the proposed RNN-based detector adopts a random search analysis in its learning stage to appropriately fine-tune its hyper-parameters. Extensive test studies are carried out to investigate the detector's performance using publicly available real data of 107,200 energy consumption days from 200 customers. Simulation results demonstrate the superior performance of the proposed detector compared with state-of-the-art electricity theft detectors.

연구 동기 및 목표

• 신규 고객에 대해 실용적이지 않고 오염 공격에 취약한 기존 얕은, 정적, 고객별로 특화된 전기도난 탐지기의 한계를 해결한다.
• 시간적 시계열 에너지 소비 데이터의 시간적 상관관계를 활용하여 정적 또는 비순환 모델을 초월한 탐지 성능 향상을 도모한다.
• 다양한 고객의 집계된 데이터를 기반으로 훈련된 일반화된 탐지 모델을 개발하여 확장성과 강건성을 향상시킨다.
• 그리드 서치 대신 무작위 탐색을 사용하여 초모수 튜닝의 효율성과 모델 성능을 향상시켜 훈련 시간을 단축시키면서도 높은 정확도를 유지한다.
• 공개 데이터셋을 사용한 실세계 전기도난 탐지에서, 얕은 모델인 SVM보다 딥 러닝 RNN 아키텍처의 우수성을 입증한다.

제안 방법

• 고객 간 순차적 에너지 소비 패턴을 모델링하기 위해 게이팅된 순환 단위(GRU) 기반의 딥 RNN 아키텍처를 사용한다.
• 3개의 K-폴드 교차검증(K=3)을 사용하여 강건한 평가를 위해 200명의 고객에서 수집한 병합된 훈련 데이터를 사용해 모델을 훈련시킨다.
• 층 수(2–4), 뉴런 수(100–500), 옵티마이저(SGD, Adam, RMSprop 등), 활성화 함수(ReLU, Sigmoid, Tanh, Softmax)를 포함한 초모수에 대해 랜덤 서치를 적용한다.
• 과적합을 방지하기 위해 Glorot 균일 초기화와 드롭아웃 비율 0.2를 사용한다.
• 고성능 GPU 클러스터(이중 NVIDIA Tesla K80)에서 Tensorflow와 Keras를 사용해 모델을 구현한다.
• 모든 고객에서 파생된 통합 테스트 세트를 사용해 성능을 평가하며, DR(탐지율), FA(오류 수용), HD(조화 평균 차이)를 지표로 사용한다.

Figure 1: Architecture of general RNN-based electricity theft detector.

실험 결과

연구 질문

• RQ1 딥 순환 신경망은 고객 에너지 소비 데이터의 시간적 패턴을 모델링하여 전기도난 탐지에 효과적으로 기여할 수 있는가?
• RQ2 랜덤 초모수 튜닝은 기존의 그리드 서치에 비해 전기도난 탐지의 탐지 성능과 훈련 효율성 측면에서 뛰어나게 작용하는가?
• RQ3 집계된 고객 데이터를 기반으로 훈련된 일반화된 RNN 모델은 고객별 특화 모델에 비해 탐지 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ4 다양한 활성화 함수와 옵티마이저는 딥 RNN의 전기도난 탐지 성능에 어떤 영향을 미치는가?
• RQ5 딥 러닝 모델은 얕은 머신러닝 기반 모델인 SVM에 비해 오류 수용률을 얼마나 낮출 수 있는가?

주요 결과

• 제안된 GRU-RNN 모델은 테스트 세트에서 탐지율(DR) 93.4%와 오류 수용률(FA) 5.0%를 달성하여 벤치마크 SVM 기반 탐지기보다 뛰어난 성능을 보였다.
• 최적의 구성(MD2 및 MD3)에서 모델의 조화 평균 차이(HD) 스코어는 87.4%에 도달했으며, 이는 [1]에서 제시한 최신 기술 대비 4% 향상된 결과이다.
• 랜덤 서치는 고성능 초모수 조합을 성공적으로 식별했으며, 높은 용량을 가진 ReLU 활성화 함수를 사용한 모델는 여전히 제대로 수렴하지 못했다.
• SGD와 Adagrad 옵티마이저는 충분한 학습 에포크 수(I=10)가 부족하여 열악한 성능을 보였고, Adam과 RMSprop는 더 강력한 수렴 성능를 보였다.
• 출력층에서 Softmax 활성화 함수를 사용할 경우 모든 구성에서 일관되게 가장 우수한 결과를 도출했으며, 이는 이 맥락에서 이진 분류에 적합함을 시사한다.
• 일반화된 모델은 개별 고객 데이터에 의존하지 않기 때문에 고객별 특화 모델보다 오염 공격에 더 강건하다.