[论文解读] Combining Embeddings and Fuzzy Time Series for High-Dimensional Time Series Forecasting in Internet of Energy Applications

Hugo Vinicius Bitencourt, Luiz Augusto Facury de Souza+3 more|arXiv (Cornell University)|Dec 3, 2021

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出了一种新颖的混合方法 γ FTS，将数据嵌入技术（PCA、自编码器、SOM）与多变量模糊时间序列相结合，以提升物联网能源（IoE）应用中高维时间序列的预测性能。通过在应用模糊时间序列建模前将多变量能耗数据投影到低维空间，该方法在保持模型可解释性和计算效率的同时，实现了更优的预测精度。

ABSTRACT

The prediction of residential power usage is essential in assisting a smart grid to manage and preserve energy to ensure efficient use. An accurate energy forecasting at the customer level will reflect directly into efficiency improvements across the power grid system, however forecasting building energy use is a complex task due to many influencing factors, such as meteorological and occupancy patterns. In addiction, high-dimensional time series increasingly arise in the Internet of Energy (IoE), given the emergence of multi-sensor environments and the two way communication between energy consumers and the smart grid. Therefore, methods that are capable of computing high-dimensional time series are of great value in smart building and IoE applications. Fuzzy Time Series (FTS) models stand out as data-driven non-parametric models of easy implementation and high accuracy. Unfortunately, the existing FTS models can be unfeasible if all features were used to train the model. We present a new methodology for handling high-dimensional time series, by projecting the original high-dimensional data into a low dimensional embedding space and using multivariate FTS approach in this low dimensional representation. Combining these techniques enables a better representation of the complex content of multivariate time series and more accurate forecasts.

研究动机与目标

• 解决在智能建筑中多传感器数据环境下，物联网能源（IoE）环境中高维多变量时间序列预测的挑战。
• 克服传统模糊时间序列模型在高维数据上应用时因复杂性和共线性问题而不可行的局限性。
• 通过在模糊时间序列建模前采用嵌入技术进行降维，提升住宅能耗预测的准确性。
• 确保模型可解释性与低计算成本，这对于资源受限的 IoE 设备边缘部署至关重要。
• 在真实世界智能建筑能源预测中，证明所提出的 γ FTS 框架相较于最先进模型的有效性。

提出的方法

• 使用三种嵌入技术——主成分分析（PCA）、自编码器（AE）和自组织映射（SOM）——进行降维，将高维多变量时间序列投影到低维潜在空间。
• 将降维后的表示作为输入，输入至多变量模糊时间序列（FTS）模型，以捕捉变量间的时序依赖关系和模糊关系。
• 在目标变量（能耗）上定义模糊集，并利用模糊逻辑关系建模嵌入空间中状态之间的转换。
• 通过两个关键超参数优化模型性能：模糊集数量（控制规则复杂度）和嵌入维度 K（控制信息保留程度）。
• 通过使用可逆的嵌入函数确保模型可解释性，从而可将模糊集输出映射回原始数据空间。
• 在真实世界智能建筑能耗数据集上训练并评估 γ FTS 模型，与持久性模型、SARIMAX、PCA-SARIMAX 和 LSTM 基线模型进行对比。

实验结果

研究问题

• RQ1 基于嵌入的降维是否能提升智能建筑高维多变量时间序列中模糊时间序列预测的准确性？
• RQ2 不同嵌入技术（PCA、AE、SOM）在保留能耗预测信息方面表现如何比较？
• RQ3 所提出的 γ FTS 框架是否在住宅能耗预测中优于成熟的统计模型与深度学习模型？
• RQ4 增加模糊集数量和嵌入维度 K 在多大程度上能提升预测准确性，同时保持模型可解释性？
• RQ5 γ FTS 模型是否能维持高性能与低计算成本，适合在 IoE 环境中边缘设备上部署？

主要发现

• 在所有评估模型中，包括持久性模型、SARIMAX、PCA-SARIMAX 和 LSTM，γ FTS 模型在智能建筑能耗数据集上实现了最佳的整体预测性能。
• 基于 PCA 的嵌入在预测准确性方面始终优于 AE 和 SOM，表明线性投影在捕捉能耗数据中的相关模式方面可能更有效。
• 尽管 SOM 属于非线性嵌入，但其准确度最低，可能由于其离散且不连续的嵌入空间所致，尽管其提供了更高的可解释性。
• 随着模糊集数量和嵌入维度 K 的增加，预测误差降低，表明通过调节这些超参数可系统性地提升模型准确性。
• γ FTS 框架保持了高可解释性与低计算复杂度，使其适用于 IoE 应用中低功耗边缘设备的部署。
• 该方法有效缓解了多重共线性问题，并捕捉了高维传感器特征之间的潜在交互关系，增强了预测能力，同时未牺牲透明度。