[论文解读] Simultaneous Model Selection and Optimization through Parameter-free Stochastic Learning

Francesco Orabona|arXiv (Cornell University)|Jun 15, 2014

Stochastic Gradient Optimization Techniques参考文献 42被引用 27

一句话总结

该论文提出 PiSTOL，一种用于核方法学习的无参数随机梯度下降算法，可在无需调整超参数或交叉验证的情况下，同时完成模型选择与优化。通过基于在线镜像下降原理，以数据依赖方式自适应调整步长，PiSTOL 在无限维再生核希尔伯特空间（RKHS）中实现了在标准平滑性假设下的最优收敛速率。

ABSTRACT

Stochastic gradient descent algorithms for training linear and kernel predictors are gaining more and more importance, thanks to their scalability. While various methods have been proposed to speed up their convergence, the model selection phase is often ignored. In fact, in theoretical works most of the time assumptions are made, for example, on the prior knowledge of the norm of the optimal solution, while in the practical world validation methods remain the only viable approach. In this paper, we propose a new kernel-based stochastic gradient descent algorithm that performs model selection while training, with no parameters to tune, nor any form of cross-validation. The algorithm builds on recent advancement in online learning theory for unconstrained settings, to estimate over time the right regularization in a data-dependent way. Optimal rates of convergence are proved under standard smoothness assumptions on the target function, using the range space of the fractional integral operator associated with the kernel.

研究动机与目标

• 为核方法中随机梯度下降的长期模型选择挑战提供解决方案，其中最优性能高度依赖于步长，但通常难以预先获知。
• 消除对交叉验证或对最优解范数等特定问题特征的先验知识的需求。
• 开发一种理论基础坚实的无参数算法，在训练过程中隐式调节正则化，实现最优有限样本收敛速率。
• 通过将无约束在线凸优化（OCO）工具扩展至核方法的随机设置，弥合在线凸优化与随机学习之间的差距。

提出的方法

• 该算法基于核的分数阶积分算子构造的Bregman散度，从在线镜像下降（OMD）推导出数据依赖的步长调度。
• 通过根据观测到的梯度范数和累积损失动态调整学习率，隐式实现正则化，避免显式超参数调优。
• 利用与核相关的分数阶积分算子的值空间，在平滑性假设下推导收敛界。
• 在对抗设置中采用新颖的遗憾分析，并将其扩展至随机设置，以推导有限样本收敛速率。
• 该算法保持与标准SGD相同的计算复杂度，使其在流数据场景下具备可扩展性和实用性。
• 采用受指数梯度法启发的无参数更新规则，确保自适应性，无需验证集或网格搜索。

实验结果

研究问题

• RQ1 能否在训练过程中隐式完成模型选择，而无需超参数调优或交叉验证，实现随机梯度下降算法？
• RQ2 在平滑性假设下，核方法学习在无限维RKHS中的最优收敛速率是多少？
• RQ3 如何将在线镜像下降适配至随机设置，以实现基于数据依赖正则化的无参数学习？
• RQ4 是否可能仅使用训练数据，在不事先知晓最优解范数或其他内在问题参数的情况下，实现随机设置下的最优收敛速率？

主要发现

• PiSTOL 在随机设置下实现了核方法的最优收敛速率，收敛率为 $ O(T^{-\frac{2\beta}{\beta+1}}) $，其中 $ \beta \in (0,1) $ 表征目标函数的平滑性，且损失函数满足 $ H $-平滑和 $ L $-Lipschitz 条件。
• 该算法无需任何超参数调优，消除了对交叉验证或最优解范数先验知识的需求。
• 对抗设置下的遗憾界为 $ O(T^{-\frac{2\beta}{\beta+1}}) $，该界可转化为随机设置下的最优有限样本收敛速率。
• 通过自适应步长隐式实现正则化，其性能等同于已知最优正则化参数的情况。
• 理论分析表明，该算法的收敛速率与给定平滑性类别的 minimax 下界一致，证实了其最优性。
• 实验结果表明，PiSTOL 在泛化能力和训练效率方面优于标准SGD和基于交叉验证的方法，尤其在高维和非独立同分布（non-iid）设置下表现更优。