[论文解读] Extended Deep Adaptive Input Normalization for Preprocessing Time Series Data for Neural Networks

Marcus A. K. September, Francesco Sanna Passino+2 more|arXiv (Cornell University)|Oct 23, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

本文提出 EDAIN（扩展深度自适应输入归一化），一种新型神经网络层，可通过端到端反向传播学习归一化不规则多变量时间序列数据——处理偏度、异常值和重尾分布。在合成数据、信用违约和限价单簿数据集上，EDAIN 在联合优化归一化参数与模型权重方面优于静态归一化和现有自适应方法。

ABSTRACT

Data preprocessing is a crucial part of any machine learning pipeline, and it can have a significant impact on both performance and training efficiency. This is especially evident when using deep neural networks for time series prediction and classification: real-world time series data often exhibit irregularities such as multi-modality, skewness and outliers, and the model performance can degrade rapidly if these characteristics are not adequately addressed. In this work, we propose the EDAIN (Extended Deep Adaptive Input Normalization) layer, a novel adaptive neural layer that learns how to appropriately normalize irregular time series data for a given task in an end-to-end fashion, instead of using a fixed normalization scheme. This is achieved by optimizing its unknown parameters simultaneously with the deep neural network using back-propagation. Our experiments, conducted using synthetic data, a credit default prediction dataset, and a large-scale limit order book benchmark dataset, demonstrate the superior performance of the EDAIN layer when compared to conventional normalization methods and existing adaptive time series preprocessing layers.

研究动机与目标

• 解决 z 分数和最小-最大缩放等静态归一化方法在处理具有偏度、异常值和重尾分布的不规则时间序列数据时的局限性。
• 开发一种自动化的、可端到端训练的预处理层，将归一化集成到神经网络架构中。
• 通过学习任务特定的归一化，提升多变量时间序列上深度神经网络的预测性能和训练效率。
• 通过全局感知和局部感知变体，提供一种适用于单峰和多峰数据分布的灵活归一化解决方案。
• 通过 EDAIN-KL 实现无监督归一化，利用 Kullback-Leibler 散度实现与非神经网络模型的兼容性。

提出的方法

• EDAIN 是一种可微分神经层，通过增加一个自适应异常值缓解子层和一个幂变换子层，扩展了 DAIN 框架。
• 幂变换子层使用可学习参数应用非线性变换，以减少偏度并稳定方差。
• 通过可学习的缩放机制实现异常值缓解，在归一化过程中降低极端值的影响。
• 该层使用梯形积分和缓存的 PDF 评估查表的二分查找，估计逆累积分布函数（CDF）。
• 引入两种变体：全局感知（适用于单峰数据）和局部感知（适用于多峰数据），分别针对底层数据分布进行优化。
• EDAIN-KL 是一种计算高效的变体，通过 Kullback-Leibler 散度进行训练，实现无需标签的无监督归一化。

Figure 1: Architecture of the proposed EDAIN (Extended Deep Adaptive Input Normalization) layer. The layout and color choices of the diagram are based on Figure 1 from Passalis et al., ( 2020 ) .

实验结果

研究问题

• RQ1 一种从数据中学习的自适应归一化层是否能在不规则时间序列上提升深度神经网络的性能，相比静态归一化？
• RQ2 EDAIN 在具有复杂不规则性（如偏度、重尾和异常值）的时间序列上的表现如何？
• RQ3 将归一化参数与模型权重联合端到端优化，是否能带来更好的泛化能力和训练效率？
• RQ4 EDAIN 的全局感知与局部感知变体在处理单峰与多峰数据分布方面有何差异？
• RQ5 EDAIN-KL 是否能提供有效的无监督归一化，并与非神经网络模型兼容？

主要发现

• EDAIN 在所有基准数据集（包括合成数据、信用违约和限价单簿数据）上均优于传统的 z 分数和最小-最大归一化方法。
• 在 Amex 信用违约预测数据集上，EDAIN 的 Amex 指标高于基线归一化方法，表明其在排序能力和违约率捕捉方面表现更优。
• EDAIN 的局部感知变体在多峰数据上表现更优，而全局感知变体在单峰分布上表现更佳。
• EDAIN-KL 在无监督归一化中取得具有竞争力的结果，表明基于 KL 的训练可实现无需标签的有效归一化。
• 消融实验确认，幂变换子层和异常值缓解子层均对性能提升有显著贡献。
• 采用 EDAIN 的端到端训练减少了对手动超参数调优的需求，并相比固定预处理流水线加速了收敛。

Figure 2: Visual comparison of the local- and global-aware versions of adaptive preprocessing schemes.