[论文解读] HyperTime: Implicit Neural Representation for Time Series

Elizabeth Fons, Alejandro Sztrajman+3 more|arXiv (Cornell University)|Aug 11, 2022

Time Series Analysis and Forecasting被引用 8

一句话总结

HyperTime 提出了一种基于 SIREN 网络的隐式神经表示（INR），用于单变量和多变量时间序列，支持分辨率无关的重建、插补和数据生成。它引入了一种基于傅里叶的损失函数的超网络，以保留频谱特性，在时间序列数据增强方面实现了最先进性能，通过学习解耦的潜在表示并实现基于插值的合成。

ABSTRACT

Implicit neural representations (INRs) have recently emerged as a powerful tool that provides an accurate and resolution-independent encoding of data. Their robustness as general approximators has been shown in a wide variety of data sources, with applications on image, sound, and 3D scene representation. However, little attention has been given to leveraging these architectures for the representation and analysis of time series data. In this paper, we analyze the representation of time series using INRs, comparing different activation functions in terms of reconstruction accuracy and training convergence speed. We show how these networks can be leveraged for the imputation of time series, with applications on both univariate and multivariate data. Finally, we propose a hypernetwork architecture that leverages INRs to learn a compressed latent representation of an entire time series dataset. We introduce an FFT-based loss to guide training so that all frequencies are preserved in the time series. We show that this network can be used to encode time series as INRs, and their embeddings can be interpolated to generate new time series from existing ones. We evaluate our generative method by using it for data augmentation, and show that it is competitive against current state-of-the-art approaches for augmentation of time series.

研究动机与目标

• 研究隐式神经表示（INRs）在时间序列数据表示与分析中的适用性。
• 评估不同激活函数在 INRs 中对时间序列重建精度和训练速度的影响。
• 开发一种超网络架构，以在时间序列数据集上学习压缩的潜在先验用于数据生成。
• 设计一种基于傅里叶的损失函数，确保训练过程中完整频谱的保留，从而实现准确的频谱重建。
• 展示所学表示在时间序列插补和基于插值的合成时间序列生成中的实用性。

提出的方法

• 采用基于 SIREN 的 MLP 将时间序列表示为从时间坐标到信号值的连续函数，实现分辨率无关的编码。
• 对比多种激活函数（如 SIREN、ReLU、GELU）在基于 INR 的时间序列建模中的重建精度和收敛速度。
• 引入一种超网络，根据学习到的潜在码生成次级 INR 的权重，实现对整个数据集的高效编码。
• 提出一种新颖的基于傅里叶的损失函数（$\mathcal{L}_{\text{FFT}}$），通过正则化重建信号的功率谱以匹配原始信号，确保频率特性保留。
• 利用超网络的潜在空间在时间序列嵌入之间进行插值，生成新的、逼真的时间序列样本。
• 通过利用 INR 重建缺失或非均匀采样数据点的能力，将该方法应用于数据插补。

实验结果

研究问题

• RQ1 隐式神经表示能否在高精度和分辨率无关性下有效重建单变量和多变量时间序列？
• RQ2 不同激活函数如何影响基于 INR 的时间序列建模中的重建质量和训练动态？
• RQ3 在存在缺失或非均匀采样数据的情况下，INRs 在时间序列插补中的适用程度如何？
• RQ4 带有基于傅里叶损失的超网络在学习时间序列数据上解耦且可解释的潜在先验方面有多高效？
• RQ5 在学习到的潜在空间中进行插值能否生成逼真且多样的时间序列样本，并优于最先进数据增强方法？

主要发现

• SIREN 激活函数在时间序列数据的重建精度和训练收敛速度方面显著优于 ReLU 和 GELU。
• 所提出的基于 INR 的插补方法在信号和功率谱重建方面均实现了高保真度，优于传统插补技术。
• 基于傅里叶的损失（$\mathcal{L}_{\text{FFT}}$）对于学习有意义的模式至关重要，尤其在 FordA 等具有高谱变异性数据集上，若缺少该损失，性能会急剧下降。
• 在 FordA 数据集上，使用 FFT 损失的 HyperTime 实现了 0.9987 的 F1 分数和 0.0076 的 MAE，而未使用该损失时则分别为 0.0167 和 0.1647，证明了该损失的关键作用。
• t-SNE 可视化结果证实，HyperTime 生成的合成数据在分布上与真实数据高度接近，尤其在使用 FFT 损失时更为明显。
• HyperTime 在时间序列数据增强方面与最先进方法相比表现出具有竞争力的性能，验证了其在下游任务中的有效性。