[论文解读] Conditional Risk Minimization for Stochastic Processes

A.M. Zimin, Christoph H. Lampert|arXiv (Cornell University)|Oct 9, 2015

Machine Learning and Algorithms参考文献 36被引用 4

一句话总结

该论文提出了一种非参数经验估计器，用于在具有依赖数据的随机过程中进行条件风险最小化，利用有限历史的核密度估计方法。在β-混合条件下，该估计器一致收敛于真实条件风险，提供了首个具有有限样本保证的条件风险最小化一致算法。

ABSTRACT

We study the task of learning from non-i.i.d. data. In particular, we aim at learning predictors that minimize the conditional risk for a stochastic process, i.e. the expected loss of the predictor on the next point conditioned on the set of training samples observed so far. For non-i.i.d. data, the training set contains information about the upcoming samples, so learning with respect to the conditional distribution can be expected to yield better predictors than one obtains from the classical setting of minimizing the marginal risk. Our main contribution is a practical estimator for the conditional risk based on the theory of non-parametric time-series prediction, and a finite sample concentration bound that establishes uniform convergence of the estimator to the true conditional risk under certain regularity assumptions on the process.

研究动机与目标

• 解决基于i.i.d.假设的学习方法在样本间存在依赖关系的非i.i.d.数据设置下的局限性。
• 开发一种实用的估计器，用于最小化条件风险——即给定观测历史时，预测器在下一个样本上的期望损失，而非边际风险。
• 在随机过程的弱正则性条件下，建立估计器一致收敛于真实条件风险的理论保证。
• 实现基于实际观测历史的期望风险最小化，从而在序列化和依赖性数据设置中提升预测性能。

提出的方法

• 基于长度为 $ d $ 的有限历史，使用核密度估计方法提出一种非参数经验估计器，通过核函数对历史样本加权计算条件风险。
• 采用最近 $ d $ 个观测值的滑动窗口计算条件风险，确保估计器能够适应过程的当前状态。
• 引入带宽参数 $ b $ 控制核估计器的平滑度，建议使用交叉验证作为实际的参数选择方法。
• 推导出有限样本浓度界，表明在β-混合条件下，经验估计器以指数速率一致收敛于真实条件风险。
• 基于非参数时间序列预测理论，证明估计器的一致性与一致收敛性。
• 假设过程为β-混合过程，且混合率衰减足够快，以确保经验均值一致收敛于真实期望。

实验结果

研究问题

• RQ1 能否在具有依赖数据的随机过程中，为条件风险最小化构建一个一致的经验估计器？
• RQ2 在对过程假设较弱的条件下，有限时域条件风险估计器在一致收敛于真实风险方面表现如何？
• RQ3 经验估计器收敛于真实条件风险的速率是多少？在何种条件下，该收敛性对所有历史均一致成立？
• RQ4 与标准经验风险最小化（ERM）方法（即最小化边际风险）相比，该方法在序列预测任务中的表现如何？
• RQ5 在选择历史长度 $ d $ 和带宽 $ b $ 时，计算与统计权衡如何体现？在实践中如何优化这些参数？

主要发现

• 在β-混合条件且混合率衰减足够快时，所提出的条件风险经验估计器以指数速率一致收敛于真实条件风险。
• 该估计器具有一致性，并提供有限样本浓度界，确保在数据有限时仍具有可靠性能。
• 在数值模拟中，该方法优于标准ERM和滑动窗口启发式方法，尤其在历史长度足够长时表现更优。
• 理论保证在弱假设下成立，包括平稳性或条件平稳性、紧支集等，且可扩展至更一般设置。
• 该方法对核函数和带宽的选择具有鲁棒性，交叉验证被识别为超参数调优的实用策略。
• 该方法继承了非参数方法典型的维度灾难问题，但可通过在高维设置中谨慎选择核函数加以缓解。