[论文解读] Learning from dependent observations

Ingo Steinwart, Don Hush+1 more|ArXiv.org|Jul 2, 2007

Machine Learning and Algorithms参考文献 35被引用 4

一句话总结

该论文通过证明支持向量机（SVMs）在满足大数定律的数据生成过程中保持一致性，建立了SVMs在一般依赖假设下的相合性。关键贡献在于证明了在$\alpha$-mixing（非平稳）过程中，即使存在无界噪声且输入空间不紧致，仅凭先验选定的正则化参数，SVMs依然保持相合性。

ABSTRACT

In most papers establishing consistency for learning algorithms it is assumed that the observations used for training are realizations of an i.i.d. process. In this paper we go far beyond this classical framework by showing that support vector machines (SVMs) essentially only require that the data-generating process satisfies a certain law of large numbers. We then consider the learnability of SVMs for $\a$-mixing (not necessarily stationary) processes for both classification and regression, where for the latter we explicitly allow unbounded noise.

研究动机与目标

• 将SVM的理论依据从独立同分布（i.i.d.）假设扩展至现实世界时间序列和异质数据中常被违反的情形。
• 建立非平稳、$\alpha$-mixing过程下SVM的相合性，其中依赖性以多项式速率衰减。
• 证明当输入空间非紧致且噪声无界时，SVMs依然保持相合性。
• 证明可在不了解过程特性的情况下，先验选择正则化序列$\lambda_n$，从而实现依赖过程下的SVM相合学习。
• 利用大数定律为非独立同分布过程定义有意义的风险泛函和极限分布。

提出的方法

• 论文提出了一种适用于非平稳随机过程的广义大数定律（LLN）框架，使得极限分布和相应风险泛函得以定义。
• 针对满足LLN的过程，定义了学习算法相对于该极限分布的相合性。
• 核心分析采用核方法和表示定理，将SVM解表示为再生核希尔伯特空间（RKHS）中的形式，其中正则化参数$\lambda_n$控制经验风险与平滑性之间的权衡。
• 证明依赖于使用矩不等式和混合系数（特别是$\alpha$-mixing率）来界定真实风险与经验风险之间的差异。
• 应用矩界和指数尾部不等式，控制在依赖条件下经验均值偏离真实均值的偏差。
• 通过使用$L_p$-型损失函数并利用依赖于$\lambda_n$的界控制解范数的增长，将分析扩展至无界噪声情形。

实验结果

研究问题

• RQ1 当训练数据并非i.i.d.，而是服从弱依赖的非平稳过程时，SVM是否仍可一致训练？
• RQ2 在依赖条件下，是否可先验选择正则化参数$\lambda_n$（无需了解过程特性）以实现SVM的一致学习？
• RQ3 在依赖数据下，输入空间$X$的紧致性假设是否仍为SVM相合性的必要条件？
• RQ4 在回归中噪声无界且存在依赖时，SVM是否仍能实现相合性？
• RQ5 何种依赖结构条件（如$\alpha$-mixing）可确保经验风险以期望收敛至真实风险？

主要发现

• SVMs对任何满足广义大数定律的数据生成过程均保持相合性，即使过程为非平稳且存在依赖。
• 对于$\alpha$-mixing过程且混合系数以多项式速率衰减的情形，可先验选择正则化序列$\lambda_n$以确保相合性。
• 当使用高斯核时，输入空间$X$的紧致性假设并非SVM相合性的必要条件。
• 论文建立了在回归中存在无界噪声的SVM相合性，扩展了以往要求噪声有界的结论。
• 经验风险向真实风险的收敛速率由混合速率和$\lambda_n$的选择决定，偏差概率以$O(\lambda_n^{-2p} n^{-\beta})$的速率衰减，其中$\beta > 0$。
• 该分析为SVM在时间序列、语音识别和系统诊断等非i.i.d.场景中经验成功的理论基础提供了支持。