[论文解读] Lepskii Principle in Supervised Learning

Gilles Blanchard, Peter Mathé+1 more|arXiv (Cornell University)|May 26, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 26被引用 6

一句话总结

本文将Lepskii原理创新性地应用于监督学习，提出一种数据驱动的方法，用于Tikhonov正则化中的正则化参数选择。通过平衡近似误差与样本误差，该方法在无需事先知晓光滑性的情况下实现了最优收敛速率，在一般条件下展现出理论最优的学习速率。

ABSTRACT

In the setting of supervised learning using reproducing kernel methods, we propose a data-dependent regularization parameter selection rule that is adaptive to the unknown regularity of the target function and is optimal both for the least-square (prediction) error and for the reproducing kernel Hilbert space (reconstruction) norm error. It is based on a modified Lepskii balancing principle using a varying family of norms.

研究动机与目标

• 解决在未知函数光滑性前提下，Tikhonov正则化中最优正则化参数选择的挑战。
• 开发一种数据驱动的方法，以适应监督学习中目标函数未知的光滑性。
• 通过实现极小极大收敛速率，建立所提方法的理论最优性。
• 将原本用于统计估计的Lepskii原理扩展至再生核希尔伯特空间（RKHS）框架下的监督学习设置。
• 通过一种新颖的自适应正则化参数选择规则，平衡近似误差与样本误差。

提出的方法

• 基于Lepskii原理，提出一种依赖于数据驱动估计器经验范数的正则化参数λ的数据驱动选择规则。
• 引入一个临界阈值函数，用于比较在多个λ值下，正则化估计器与目标函数之间差异的经验范数。
• 使用算子(B + λ*)^{1/2}定义加权希尔伯特空间范数，实现对近似误差与样本误差的平衡控制。
• 利用条件||(B + λ*)^{1/2}(fρ - fλ*)|| ≤ C ||(B + λ*)^{1/2}(fλ* - f^λ)||选择使组合误差最小的λ。
• 将该原理应用于再生核希尔伯特空间（RKHS）框架下的Tikhonov正则化，确保稳定性与收敛性。
• 推导出一种选择规则，通过带惩罚项的经验风险最小化控制偏差与方差之间的权衡，从而避免过拟合。

实验结果

研究问题

• RQ1 Lepskii原理能否被有效适配于监督学习，以实现正则化参数的自动选择？
• RQ2 所提方法在收敛速率方面的理论性能如何，与已知的极小极大速率相比如何？
• RQ3 在缺乏先验信息的情况下，该方法如何处理目标函数未知光滑性的问题？
• RQ4 在误差界方面，确保所选正则化参数最优性的条件是什么？
• RQ5 在理论与实践上，该方法与标准交叉验证或其他参数选择技术相比有何差异？

主要发现

• 所提方法实现了学习误差的最优收敛速率，在一般光滑性假设下与极小极大下界一致。
• 正则化参数通过仅使用数据实现自适应选择，无需知晓目标函数的光滑性类别。
• 通过比较不同λ值下的经验范数，该方法平衡了近似误差与样本误差，确保了鲁棒性。
• 理论分析证实，所选λ满足条件||(B + λ*)^{1/2}(fρ - fλ*)|| ≤ C ||(B + λ*)^{1/2}(fλ* - f^λ)||，从而实现最优误差控制。
• 该方法在Tikhonov正则化于RKHS的框架下有效，其收敛速率在核与输入分布的标准假设下被推导得出。
• 该方法避免了交叉验证或预先调参的需要，为正则化参数选择提供了一种理论基础坚实且自适应的替代方案。