[论文解读] Sequence-to-Sequence Load Disaggregation Using Multi-Scale Residual Neural Network

Gan Zhou, Zhi Li+4 more|arXiv (Cornell University)|Sep 25, 2020

Smart Grid Energy Management参考文献 34被引用 6

一句话总结

该论文提出了一种带有空洞卷积的多尺度残差神经网络，用于非侵入式负载监测（NILM）中的序列到序列负载分解。通过利用残差学习、空洞卷积实现大感受野，以及多尺度特征提取，该模型在UK-DALE数据集上实现了所有电器更高的F1分数和更低的MAE，同时降低了模型复杂度，有利于实时部署。

ABSTRACT

With the increased demand on economy and efficiency of measurement technology, Non-Intrusive Load Monitoring (NILM) has received more and more attention as a cost-effective way to monitor electricity and provide feedback to users. Deep neural networks has been shown a great potential in the field of load disaggregation. In this paper, firstly, a new convolutional model based on residual blocks is proposed to avoid the degradation problem which traditional networks more or less suffer from when network layers are increased in order to learn more complex features. Secondly, we propose dilated convolution to curtail the excessive quantity of model parameters and obtain bigger receptive field, and multi-scale structure to learn mixed data features in a more targeted way. Thirdly, we give details about generating training and test set under certain rules. Finally, the algorithm is tested on real-house public dataset, UK-DALE, with three existing neural networks. The results are compared and analysed, the proposed model shows improvements on F1 score, MAE as well as model complexity across different appliances.

研究动机与目标

• 通过引入残差学习框架，解决用于负载分解的深度神经网络中的退化问题。
• 通过空洞卷积扩大感受野，同时不增加参数数量，从而减少模型参数。
• 通过多尺度架构提升对混合电器类型的学习能力，捕捉多样的功率特征模式。
• 基于预定义规则生成真实且合理的训练和测试数据集，以模拟真实家庭负载条件。
• 在UK-DALE数据集上评估所提模型与现有深度学习模型的性能，重点关注F1分数、MAE和模型复杂度。

提出的方法

• 设计残差神经网络模块，以缓解深层网络训练过程中的梯度消失和退化问题。
• 采用空洞卷积，以不增加参数数量或降低分辨率的方式，实现感受野的指数级扩展。
• 引入多尺度结构，通过不同空洞率处理输入，以捕捉局部和全局的时间模式。
• 在多个残差模块之间应用残差连接，以稳定训练并改善梯度流动。
• 采用序列到序列框架，模型从家庭总功率中预测各电器的功率消耗。
• 在输出层使用Sigmoid激活函数，将预测结果限制在合理的功率范围内，以均方误差（MAE）作为损失函数。

实验结果

研究问题

• RQ1 与标准CNN和RNN相比，带有空洞卷积的深度残差网络是否能提升负载分解性能？
• RQ2 多尺度架构是否能增强对具有复杂或可变功率特征的电器的特征表示能力？
• RQ3 所提模型在保持或提升分解准确率的同时，能在多大程度上降低模型复杂度？
• RQ4 对于高功率波动的电器（如微波炉）与简单通断设备（如电水壶）而言，模型表现如何？
• RQ5 由于卷积层具有可并行处理的特性，该模型是否能实现比RNN模型更快的推理速度？

主要发现

• 所提出的多尺度残差网络在所有五种电器（电水壶、微波炉、冰箱、洗碗机、洗衣机）上的F1分数均高于传统CNN、BiLSTM和去噪自编码器模型。
• 该模型在冰箱（71.388 W）和洗衣机（217.517 W）上的均方误差（MAE）最低，表明其在低功率电器估计方面具有高精度。
• 对于电水壶，尽管F1分数较高（0.948），但MAE相对较高（289.044 W），归因于高功率水平以及Sigmoid激活函数放大了微小误差。
• 该模型在所有测试模型中参数量最小（623个），适合在资源受限的边缘设备上部署。
• 由于卷积层具备并行处理能力，推理时间快于BiLSTM，尽管其FLOPs高于浅层CNN。
• 空洞卷积实现了较大的有效感受野，增强了上下文感知能力，从而在微波炉和洗碗机等复杂电器上表现出更优性能。