[论文解读] A Bernstein-type Inequality for Some Mixing Processes and Dynamical Systems with an Application to Learning

Hanyuan Hang, Ingo Steinwart|arXiv (Cornell University)|Jan 13, 2015

Control Systems and Identification参考文献 35被引用 7

一句话总结

该论文为几何${\cal C}$-混合过程建立了类似Bernstein的不等式——涵盖$\phi$-混合、$\tilde{\phi}$-混合以及某些动力系统——表明，忽略对数因子和常数后，其浓度行为与i.i.d.数据一致。利用该不等式，作者推导了正则化经验风险最小化算法的oracle不等式，证明在${\cal C}$-混合假设下，使用高斯核的支持向量机可实现几乎与最优i.i.d.速率相当的学习速率。

ABSTRACT

We establish a Bernstein-type inequality for a class of stochastic processes that include the classical geometrically $ϕ$-mixing processes, Rio's generalization of these processes, as well as many time-discrete dynamical systems. Modulo a logarithmic factor and some constants, our Bernstein-type inequality coincides with the classical Bernstein inequality for i.i.d.~data. We further use this new Bernstein-type inequality to derive an oracle inequality for generic regularized empirical risk minimization algorithms and data generated by such processes. Applying this oracle inequality to support vector machines using the Gaussian kernels for both least squares and quantile regression, it turns out that the resulting learning rates match, up to some arbitrarily small extra term in the exponent, the optimal rates for i.i.d.~processes.

研究动机与目标

• 将浓度不等式从i.i.d.数据推广至更一般的随机过程，包括混合过程和动力系统。
• 为几何${\cal C}$-混合过程建立一个类似Bernstein的不等式，该类过程推广了$\phi$-混合与$\tilde{\phi}$-混合。
• 将新不等式应用于推导正则化经验风险最小化算法的oracle不等式。
• 在${\cal C}$-混合数据下建立支持向量机（使用高斯核）的学习速率，其速率与最优i.i.d.速率在对数因子范围内一致。
• 将分析扩展至利用oracle不等式预测未知动力系统的问题。

提出的方法

• 作者定义并分析了几何${\cal C}$-混合过程，该类过程推广了现有混合概念，并包含许多离散时间动力系统。
• 他们为这些过程建立了类似Bernstein的浓度不等式，表明其与经典i.i.d. Bernstein不等式在对数因子和常数范围内一致。
• 证明技术利用了适用于${\cal C}$-混合过程中相关性衰减的矩不等式与链式论证。
• 将新不等式应用于在${\cal C}$-混合条件下推导通用正则化经验风险最小化方案的oracle不等式。
• 对于使用高斯核的支持向量机，作者优化了正则化参数，实现了$ n^{-\frac{2t}{2t+d} + \xi} $量级的学习速率，其中任意$\xi > 0$，该速率与i.i.d.情况下的最优速率一致。
• 进一步推导了预测未知动力系统的oracle不等式，实现了非渐近学习速率分析。

实验结果

研究问题

• RQ1 能否为包含非混合动力系统并推广$\phi$-混合的随机过程类建立类似Bernstein的不等式？
• RQ2 ${\cal C}$-混合过程的浓度行为在多大程度上类似于i.i.d.数据？
• RQ3 新浓度不等式能否用于在${\cal C}$-混合条件下推导正则化学习算法的学习速率？
• RQ4 当数据由${\cal C}$-混合过程生成时，使用高斯核的支持向量机是否能实现最优学习速率？
• RQ5 该框架能否扩展至在非渐近保证下预测未知动力系统的问题？

主要发现

• 几何${\cal C}$-混合过程的Bernstein型不等式与经典i.i.d. Bernstein不等式在对数因子和常数范围内一致。
• 新不等式使在${\cal C}$-混合条件下推导正则化经验风险最小化算法的oracle不等式成为可能，推广了i.i.d.和$\alpha$-混合情形下的结果。
• 对于使用高斯核的最小二乘与分位数回归SVM，其学习速率在指数部分的额外项可任意小，与最优i.i.d.速率一致。
• LS-SVM的学习速率为$ n^{-\frac{2t}{2t+d} + \xi} $，其中任意$\xi > 0$，该速率本质上最优，与i.i.d.速率一致。
• 建立了用于预测未知动力系统的oracle不等式，将先前仅限于渐近分析的框架扩展至非渐近学习速率。
• 在条件$\lambda_n \sigma_n^2 \geq n^{-2}$下结果成立，该条件在$ t \geq 1 $时由最优选择$\lambda_n = n^{-1}$、$\sigma_n = n^{-\frac{1}{2t+d}}$满足。