[论文解读] Fast rates in learning with dependent observations

Pierre Alquier, Olivier Wintenberger|arXiv (Cornell University)|Feb 20, 2012

Machine Learning and Algorithms参考文献 33被引用 5

一句话总结

该论文在 $φ$-mixing 假设下，利用 PAC-Bayesian 方法，为依赖时间序列的统计学习建立了快速的 $1/n$ 收敛速率。结果表明，对于最小二乘损失，Gibbs 估计器通过利用指数加权和混合过程的集中不等式，即使在观测值弱依赖的情况下，也能实现与 i.i.d. 设置下相当的最优收敛速率。

ABSTRACT

In this paper we tackle the problem of fast rates in time series forecasting from a statistical learning perspective. In a serie of papers (e.g. Meir 2000, Modha and Masry 1998, Alquier and Wintenberger 2012) it is shown that the main tools used in learning theory with iid observations can be extended to the prediction of time series. The main message of these papers is that, given a family of predictors, we are able to build a new predictor that predicts the series as well as the best predictor in the family, up to a remainder of order $1/\sqrt{n}$. It is known that this rate cannot be improved in general. In this paper, we show that in the particular case of the least square loss, and under a strong assumption on the time series (phi-mixing) the remainder is actually of order $1/n$. Thus, the optimal rate for iid variables, see e.g. Tsybakov 2003, and individual sequences, see \cite{lugosi} is, for the first time, achieved for uniformly mixing processes. We also show that our method is optimal for aggregating sparse linear combinations of predictors.

研究动机与目标

• 将 i.i.d. 和单个序列设置下的快速率结果扩展到统计学习框架中的依赖时间序列。
• 填补依赖数据收敛速率的空白，其中标准速率通常为 $1/\sqrt{n}$，通过识别在何种条件下可实现更快的 $1/n$ 速率。
• 开发一种预测方法，即使在强依赖条件下，其性能也能与给定族中最佳预测器相当。
• 为指数加权聚合（Gibbs 估计器）在混合过程背景下的理论合理性提供依据。
• 证明在依赖设置下，对稀疏线性预测器组合进行聚合的方法具有最优性。

提出的方法

• 将 Gibbs 估计器（预测器的指数加权平均）作为预测方法，源自 PAC-Bayesian 理论。
• 在预测器空间上使用先验分布应用 PAC-Bayesian 界，通过温度参数 $\lambda$ 控制加权。
• 利用 Samson（2002）提出的 $\phi$-混合过程的集中不等式，控制预测风险的拉普拉斯变换。
• 对时间序列施加 $\phi$-混合条件，以确保强混合性，从而支持快速率分析。
• 推导出理论 oracle 不等式，表明预测风险被最佳预测器的风险加上 $1/n$ 阶余项所界定。
• 在高维或模型选择设置下，使用 MCMC 方法（特别是 RJMCMC）实现 Gibbs 估计器的实际应用。

实验结果

研究问题

• RQ1 在统计学习中，对于依赖时间序列，能否像 i.i.d. 和单个序列设置一样实现快速的 $1/n$ 收敛速率？
• RQ2 在何种依赖假设（如混合性）下，Gibbs 估计器对最小二乘损失可实现快速率？
• RQ3 在弱依赖条件下，指数加权聚合（Gibbs 估计器）对稀疏线性预测器组合是否最优？
• RQ4 Gibbs 估计器在依赖数据下的性能与 AIC 等经典方法在 AR 模型中的表现相比如何？
• RQ5 温度参数 $\lambda$ 在 Gibbs 估计器中的作用是什么？在混合过程中，该参数在实践中应如何校准？

主要发现

• 在 $φ$-mixing 假设下，Gibbs 估计器对最小二乘损失实现了 $1/n$ 阶的快速收敛速率，与 i.i.d. 和单个序列设置下的最优速率一致。
• oracle 不等式中的余项为 $O(1/n)$，严格优于弱依赖过程的标准 $O(1/\sqrt{n})$ 速率。
• 该方法在稀疏设置下对稀疏线性预测器组合的聚合具有最优性，这由稀疏设置下的快速率所证明。
• 通过适应 $\phi$-混合过程的 PAC-Bayesian 界，结合 Samson（2002）的集中不等式，提供了理论依据。
• 模拟结果表明，启发式校准 $\lambda = n / \hat{\mathrm{var}}(X)$ 在 AR 和 MA 模型上表现出良好的经验性能。
• 该方法适用于一大类 $\phi$-混合过程，包括 AR($p$)、MA($q$) 以及某些非线性 GARCH 型模型，前提是混合系数呈指数衰减。