[论文解读] Minimax Adaptive Boosting for Online Nonparametric Regression

Paul Liautaud, Pierre Gaillard+1 more|arXiv (Cornell University)|Jan 1, 2024

Distributed Sensor Networks and Detection Algorithms被引用 1

一句话总结

该论文提出了一种无需参数、计算高效的在线学习算法，用于非参数回归，在对抗性设置下针对霍尔德连续函数实现了极小极大最优遗憾。通过动态修剪一种链式树结构以适应局部光滑性变化，该方法在无需事先知晓函数正则性的情况下实现了最优的局部自适应性，这是首个同时具备这些特性的在线回归算法。

ABSTRACT

We study boosting for adversarial online nonparametric regression with general convex losses. We first introduce a parameter-free online gradient boosting (OGB) algorithm and show that its application to chaining trees achieves minimax optimal regret when competing against Lipschitz functions. While competing with nonparametric function classes can be challenging, the latter often exhibit local patterns, such as local Lipschitzness, that online algorithms can exploit to improve performance. By applying OGB over a core tree based on chaining trees, our proposed method effectively competes against all prunings that align with different Lipschitz profiles and demonstrates optimal dependence on the local regularities. As a result, we obtain the first computationally efficient algorithm with locally adaptive optimal rates for online regression in an adversarial setting.

研究动机与目标

• 设计一种在线回归算法，实现在不了解对手函数光滑性的情况下，达到极小极大最优遗憾。
• 解决对抗性在线非参数回归中的局部自适应性挑战，其中函数正则性在定义域内各处不同。
• 开发一种计算高效的算法，通过自适应修剪链式树结构，动态追踪局部霍尔德连续性特征。
• 将现有极小极大最优算法扩展为具有局部自适应性，同时保持计算可行性。
• 探索该方法与提升框架之间的联系，为在线学习的未来研究提供方向。

提出的方法

• 该算法使用核心链式树结构表示候选函数近似，使得在具有霍尔德正则性的函数类上实现高效计算。
• 它引入一种自适应修剪机制，基于局部光滑性选择最优子树，使算法能够追踪输入空间中变化的霍尔德特征。
• 该方法在无参数框架内利用基于梯度的更新以最小化遗憾，确保在一般凸损失和指数凸损失下的最优性。
• 遗憾分析基于链式论证和基于树的复杂度控制，推导出与极小极大下界匹配的紧致上界。
• 该算法被形式化为一种元优化过程，可解释为对弱学习器的类似提升的精炼过程，其中每个树节点充当一个弱函数近似器。
• 提出了对 spanN(W) 空间的推广，暗示一个更广泛的框架，其中来自一般函数类 W 的弱学习器被自适应聚合。

实验结果

研究问题

• RQ1 是否存在一种计算高效的在线回归算法，既能实现极小极大最优遗憾，又能适应函数光滑性的局部变化？
• RQ2 如何动态修剪链式树以反映局部霍尔德连续性，而无需事先知晓光滑性参数？
• RQ3 在一般凸损失和指数凸损失下，此类自适应算法的理论遗憾界是什么？
• RQ4 该方法能否被构建成一种提升过程，通过弱学习器迭代精炼函数近似？
• RQ5 当该算法扩展到超过 α-霍尔德类（α ≤ 1）的更丰富的函数类时，是否仍保持极小极大最优性？

主要发现

• 所提算法在凸损失下达到 O(√LT) 阶的极小极大最优遗憾界，在指数凸损失下达到 O(min{√LT, L²/³T¹/³})，与已知下界一致。
• 该算法是首个在对抗性在线非参数回归中同时实现极小极大最优性、局部自适应性和计算高效性的算法。
• 链式树的自适应修剪使算法能够追踪局部霍尔德特征，从而在输入空间的平滑子区域中实现更优的遗憾率。
• 该方法在无需事先知晓光滑性参数 α ∈ (0,1] 的情况下，仍能保持最优遗憾保证，即使函数的正则性在定义域内变化。
• 数值实验验证了理论优势，表明在非独立同分布及局部平滑的数据序列上性能更优。
• 该框架暗示了一种新颖的与提升的联系：通过树修剪迭代精炼函数近似的过程，类似于提升中组合弱学习器的方式。