[论文解读] Kernel partial least squares for stationary data

Marco Singer, Tatyana Krivobokova+1 more|arXiv (Cornell University)|Jun 12, 2017

Spectroscopy and Chemometric Analyses参考文献 25被引用 5

一句话总结

本文在平稳相关数据的非参数回归中建立了核偏最小二乘法（KPLS）的概率收敛速率，表明长程依赖会减缓收敛速度。通过在源条件和有效维度条件下推导收敛速率，将KPLS理论扩展至平稳时间序列，经模拟和蛋白质动力学案例研究验证，表明其具有出色的预测性能。

ABSTRACT

We consider the kernel partial least squares algorithm for non-parametric regression with stationary dependent data. Probabilistic convergence rates of the kernel partial least squares estimator to the true regression function are established under a source and an effective dimensionality condition. It is shown both theoretically and in simulations that long range dependence results in slower convergence rates. A protein dynamics example shows high predictive power of kernel partial least squares.

研究动机与目标

• 将核偏最小二乘法（KPLS）理论扩展至平稳相关时间序列数据。
• 在时间依赖条件下，推导KPLS估计器的显式概率收敛速率。
• 研究长程依赖相较于短程依赖如何影响收敛速度。
• 通过模拟和真实世界蛋白质动力学数据集，对方法进行实证验证。
• 建立理论条件——源条件与有效维度——以确定KPLS在最优或减缓收敛速率下的成立条件。

提出的方法

• 本研究在再生核希尔伯特空间（RKHS）框架下构建KPLS，用于平稳输入数据的非参数回归。
• 假设回归模型为 $ y_t = f^*(X_t) + \varepsilon_t $，其中 $ \{X_t\} $ 为平稳时间序列，$ \varepsilon_t $ 为独立同分布的噪声。
• 利用针对平稳过程设计的浓度不等式推导收敛速率，其依赖于依赖结构。
• 通过引入源条件与有效维度条件，控制估计误差。
• 该方法利用表示定理与核技巧，实现在RKHS中的非参数学习。
• 通过控制经验协方差算子与真实协方差算子的算子范数，推导理论界，其中 $ (S + \lambda)^{-1/2}(S_n - S) $ 为关键量。

实验结果

研究问题

• RQ1 平稳数据中的时间依赖结构如何影响核偏最小二乘法估计器的收敛速率？
• RQ2 能否在一般平稳依赖结构下，而非仅独立同分布数据下，建立KPLS的概率收敛速率？
• RQ3 长程依赖在多大程度上会降低KPLS的收敛速度？
• RQ4 源条件与有效维度条件在依赖存在时如何影响收敛速率？
• RQ5 KPLS在真实世界依赖数据（如蛋白质动力学）上是否保持强预测性能？

主要发现

• 在存在长程依赖时，KPLS在平稳依赖下的收敛速率相较于短程依赖更慢。
• 在短程依赖下，KPLS的收敛速率与独立同分布设定下的最优速率相当。
• 收敛速率取决于有效维度与源条件，当依赖持续时间越长时，收敛速率越慢。
• 在蛋白质动力学案例中，KPLS表现出高预测能力，证实其在真实时间序列中的实际应用价值。
• 理论界表明 $ d_\lambda \leq D \log(1 + a/\lambda) $，该式控制有效维度并影响收敛速度。
• 分析证实，针对平稳过程的浓度不等式在推导依赖设定下的非渐近收敛速率中至关重要。