[论文解读] Dimensionality Reduction for Stationary Time Series via Stochastic Nonconvex Optimization

Minshuo Chen, Lin F. Yang+2 more|arXiv (Cornell University)|Jan 1, 2018

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了一种下采样增强的Oja算法，用于平稳时间序列的流式PCA，通过随机非凸优化减少数据依赖带来的偏差。利用扩散近似，建立了渐近收敛速率和近似最优的样本复杂度，为非凸、依赖数据设置提供了可证明的保证。

ABSTRACT

Stochastic optimization naturally arises in machine learning. Efficient algorithms with provable guarantees, however, are still largely missing, when the objective function is nonconvex and the data points are dependent. This paper studies this fundamental challenge through a streaming PCA problem for stationary time series data. Specifically, our goal is to estimate the principle component of time series data with respect to the covariance matrix of the stationary distribution. Computationally, we propose a variant of Oja's algorithm combined with downsampling to control the bias of the stochastic gradient caused by the data dependency. Theoretically, we quantify the uncertainty of our proposed stochastic algorithm based on diffusion approximations. This allows us to prove the asymptotic rate of convergence and further implies near optimal asymptotic sample complexity. Numerical experiments are provided to support our analysis.

研究动机与目标

• 解决在数据依赖条件下，非凸目标函数缺乏高效随机优化算法及其可证明保证的问题。
• 应对在平稳分布协方差矩阵下估计时间序列数据主成分的挑战。
• 控制平稳时间序列数据中时间相关性引起的随机梯度偏差。
• 建立流式PCA在依赖数据设置下的理论收敛速率和样本复杂度。

提出的方法

• 提出一种改进的Oja算法，通过引入下采样以减轻时间序列中数据依赖带来的偏差。
• 采用随机非凸优化处理流数据下PCA目标的非凸性质。
• 应用扩散近似量化不确定性，并分析算法的渐近行为。
• 基于算法诱导的随机过程的扩散极限，推导收敛速率。
• 确保算法在控制相关数据点带来的偏差的同时保持计算效率。
• 将优化问题表述为流式PCA任务，目标是估计平稳协方差矩阵的主导特征向量。

实验结果

研究问题

• RQ1 在依赖时间序列数据下，随机优化算法能否实现非凸PCA目标的可证明收敛？
• RQ2 数据依赖如何影响流式PCA中随机梯度估计的偏差？
• RQ3 在平稳时间序列下，所提算法的渐近收敛速率是多少？
• RQ4 所提方法能否在依赖数据中实现主成分估计的近似最优样本复杂度？
• RQ5 下采样如何影响随机梯度更新中的偏差-方差权衡？

主要发现

• 所提算法实现了与已知理论下界匹配的渐近收敛速率，表明其近乎最优。
• 扩散近似成功量化了随机算法的不确定性，使得严格的理论分析成为可能。
• 下采样有效减少了时间序列中时间相关性导致的随机梯度偏差。
• 该方法在平稳依赖下的流式PCA问题中建立了近乎最优的可证明样本复杂度。
• 数值实验验证了理论结果，显示下采样后收敛一致且偏差降低。
• 分析证实，该算法在非独立同分布数据下保持了计算效率，同时实现了强理论保证。