[论文解读] Overfitting and Time Series Segmentation: A Locally Adaptive Solution

Daniel Lemire|arXiv (Cornell University)|May 24, 2006

Time Series Analysis and Forecasting被引用 3

一句话总结

本文提出了一种用于时间序列的局部自适应多项式分割模型，通过在每个分段动态调整多项式阶次（例如，常数、线性、二次）来减少过拟合。通过使用 O(n²) 最优算法和 O(n) 在线启发式算法最小化 l2 误差，该方法在合成随机游走、股价和心电图数据中均提升了分割精度和缺失数据预测性能。

ABSTRACT

Time series are unstructured data; they are difficult to monitor, summarize and predict. Weather forecasts, stock market prices, medical data (ECG, EEG) are examples of non-stationary time series we wish to clean, classify and index. Segmentation organizes time series into few intervals having uniform characteristics (flatness, linearity, modality, monotonicity and so on). The popular piecewise linear model can determine where the data goes up or down and at what rate. Unfortunately, when the data does not follow a linear model, the computation of the local slope creates overfitting. We propose an adaptive time series model where the polynomial degree of each interval vary (flat, linear and so on). Given a number of regressors, the cost of each interval is its polynomial degree: flat intervals cost 1 regressor, linear intervals cost 2 regressors, and so on. Our goal is to minimize the Euclidean (l2) error. We present an optimal algorithm running in time O(n 2) as well as an online (O(n)) top-down heuristic. Over synthetic random walks, historical stock market prices, and electrocardiograms, the adaptive model provides a more accurate segmentation and is a better predictor of missing data points (leave-one-out cross-validation error). In other words, we simultaneously improve the goodnessof-fit and reduce local overfitting.

研究动机与目标

• 解决当数据偏离线性模型时时间序列分割中的过拟合问题。
• 提升非平稳时间序列（如心电图、股价和随机游走）的分割精度和预测性能。
• 开发一种基于局部数据特征自适应选择每段多项式阶次的模型。
• 在控制每区间回归器成本（常数为1，线性为2，依此类推）的前提下最小化 l2 误差。
• 提供一种 O(n²) 最优算法和一种高效的 O(n) 在线启发式算法，适用于实际部署。

提出的方法

• 基于局部数据拟合程度，使用可变阶次的多项式（常数、线性、二次等）对每个时间序列分段进行建模。
• 为每个区间分配一个成本，等于其多项式阶次（例如，常数为1，线性为2），以表示模型复杂度。
• 通过最小化平方残差之和（l2 误差）并满足回归器成本约束来优化分割。
• 使用动态规划在 O(n²) 时间内计算最优分割，平衡拟合度与复杂度。
• 应用一种自顶向下的在线启发式算法，以 O(n) 时间顺序处理数据，适用于实时或流式应用。
• 使用留一法交叉验证评估分段质量，以衡量缺失数据预测性能。

实验结果

研究问题

• RQ1 与固定阶次模型（如分段线性分割）相比，每段自适应多项式阶次是否能有效减少过拟合？
• RQ2 所提出的模型在非平稳时间序列上的分割精度和预测性能表现如何？
• RQ3 动态阶次选择在保持模型简洁的同时，能在多大程度上提升拟合优度？
• RQ4 O(n) 在线启发式算法在实际中近似 O(n²) 最优解的效率如何？
• RQ5 该模型在随机游走、股价和心电图信号等多样化时间序列类型上是否具有良好的泛化能力？

主要发现

• 自适应模型在留一法交叉验证中显著低于固定阶次模型的误差，表明其对缺失数据点的预测能力更强。
• 由于在局部拟合更优且不过拟合，合成随机游走、历史股价和心电图数据的分割精度均得到提升。
• O(n²) 最优算法能精确最小化 l2 误差，并严格控制每区间的回归器成本。
• O(n) 在线启发式算法在计算时间显著减少的前提下，实现了接近最优的性能，适用于流式数据处理。
• 通过在平坦或噪声区域允许更低阶多项式，仅在数据充分支持时使用更高阶，该模型有效减少了过拟合。
• 该方法同时提升了模型拟合度与泛化能力，在所有评估数据集中均优于标准分段线性模型。