[论文解读] Deep Recurrent Electricity Theft Detection in AMI Networks with Random Tuning of Hyper-parameters

Mahmoud Nabil, Muhammad Ismail+4 more|arXiv (Cornell University)|Sep 6, 2018

Electricity Theft Detection Techniques参考文献 18被引用 5

一句话总结

本文提出一种广义的深度循环神经网络（RNN）模型，结合门控循环单元（GRU），用于AMI网络中的电力窃电检测，利用客户用电量的时间模式。通过随机超参数调优，该模型实现了93.4%的检测率和5.0%的误接受率，相较于最先进的基于支持向量机（SVM）的客户特定检测器，F1得分提升4%，且误接受率降低55%。

ABSTRACT

Modern smart grids rely on advanced metering infrastructure (AMI) networks for monitoring and billing purposes. However, such an approach suffers from electricity theft cyberattacks. Different from the existing research that utilizes shallow, static, and customer-specific-based electricity theft detectors, this paper proposes a generalized deep recurrent neural network (RNN)-based electricity theft detector that can effectively thwart these cyberattacks. The proposed model exploits the time series nature of the customers' electricity consumption to implement a gated recurrent unit (GRU)-RNN, hence, improving the detection performance. In addition, the proposed RNN-based detector adopts a random search analysis in its learning stage to appropriately fine-tune its hyper-parameters. Extensive test studies are carried out to investigate the detector's performance using publicly available real data of 107,200 energy consumption days from 200 customers. Simulation results demonstrate the superior performance of the proposed detector compared with state-of-the-art electricity theft detectors.

研究动机与目标

• 解决现有浅层、静态及客户特定的电力窃电检测器在新客户场景下不实用，且易受污染攻击的问题。
• 利用时间序列用电量数据中的时间相关性，提升检测性能，超越静态或非循环模型。
• 开发一种基于多客户聚合数据训练的广义检测模型，提升可扩展性与鲁棒性。
• 通过随机搜索替代网格搜索，提升超参数调优效率与模型性能，缩短训练时间同时保持高精度。
• 基于公开数据集，证明深度RNN架构在真实世界电力窃电检测中优于浅层模型（如SVM）的优越性。

提出的方法

• 采用基于门控循环单元（GRU）的深度RNN架构，以建模跨客户的序列用电量模式。
• 在200名客户的合并训练数据上训练模型，使用特征缩放和K折交叉验证（K=3）以实现稳健评估。
• 对超参数进行随机搜索，包括层数（2–4）、神经元数量（100–500）、优化器（SGD、Adam、RMSprop等）以及激活函数（ReLU、Sigmoid、Tanh、Softmax）。
• 使用Glorot均匀初始化，并设置0.2的dropout率，以防止训练过程中的过拟合。
• 使用TensorFlow和Keras在配备两块NVIDIA Tesla K80的高性能GPU集群上实现模型。
• 使用统一测试集（源自所有客户）评估性能，采用DR（检测率）、FA（误接受率）和HD（谐波差异）作为评估指标。

Figure 1: Architecture of general RNN-based electricity theft detector.

实验结果

研究问题

• RQ1 深度循环神经网络能否通过建模客户用电量数据的时间模式，有效检测电力窃电？
• RQ2 在电力窃电检测中，随机超参数调优是否在检测性能和训练效率方面优于传统的网格搜索？
• RQ3 基于聚合客户数据训练的广义RNN模型，在检测准确率和鲁棒性方面，与客户特定模型相比如何？
• RQ4 不同激活函数和优化器对深度RNN在电力窃电检测中性能的影响是什么？
• RQ5 与浅层机器学习基线模型（如SVM）相比，深度学习模型在多大程度上可降低误接受率？

主要发现

• 所提出的GRU-RNN模型在测试集上实现了93.4%的检测率（DR）和5.0%的误接受率（FA），优于基准SVM检测器。
• 对于表现最佳的配置（MD2和MD3），模型的谐波差异（HD）得分为87.4%，较文献[1]中的最先进检测器提升4%。
• 随机搜索成功识别出高性能的超参数组合，但使用ReLU激活函数的模型尽管容量较高，仍未能正确收敛。
• SGD和Adagrad优化器表现较差，可能由于训练周期数不足（I=10），而Adam和RMSprop显示出更强的收敛能力。
• 输出层使用Softmax激活函数在所有配置中均表现最佳，表明其在本场景下二分类任务中的适用性。
• 广义模型相较于客户特定模型更具抗污染攻击能力，因其训练不依赖于单个客户的数据。