[论文解读] A Chaining Algorithm for Online Nonparametric Regression

Pierre Gaillard, Sébastien Gerchinovitz|arXiv (Cornell University)|Feb 26, 2015

Advanced Bandit Algorithms Research参考文献 26被引用 9

一句话总结

该论文提出了一种基于链式结构的在线非参数回归算法，针对多变量、可微且联合凸的损失函数实现了最优后悔边界。通过利用梯度范数和对数因子导出的自适应学习率，对多变量指数梯度算法进行调优，该方法确保了后悔规模为 $ O(\sqrt{\log N_k / T}) $，为复杂高维决策空间中的在线学习提供了理论保证。

ABSTRACT

We consider the problem of online nonparametric regression with arbitrary deterministic sequences. Using ideas from the chaining technique, we design an algorithm that achieves a Dudley-type regret bound similar to the one obtained in a non-constructive fashion by Rakhlin and Sridharan (2014). Our regret bound is expressed in terms of the metric entropy in the sup norm, which yields optimal guarantees when the metric and sequential entropies are of the same order of magnitude. In particular our algorithm is the first one that achieves optimal rates for online regression over H{ö}lder balls. In addition we show for this example how to adapt our chaining algorithm to get a reasonable computational efficiency with similar regret guarantees (up to a log factor).

研究动机与目标

• 解决多决策变量及复杂高维输出空间下的在线非参数回归问题。
• 设计一种最小化后悔的算法，适用于多变量间联合凸的可微损失函数。
• 推导出与动作数量和时间跨度均最优缩放的紧密后悔边界。
• 提出一种基于梯度范数约束的多变量指数梯度算法的系统调优策略。
• 通过链式技术与凸性假设，将在线学习理论拓展至多变量非参数设置。

提出的方法

• 该算法采用多变量指数梯度（MultivarEG）方法，在每个变量的行动集 $ \Delta_{N_k} $ 上更新分布。
• 使用学习率 $ \eta^{(k)} = \sqrt{2\log(N_k)/T} / G^{(k)} $，其中 $ G^{(k)} $ 为损失函数关于变量 $ k $ 的偏梯度的无穷范数的上界。
• 该方法假设损失函数 $ \ell_t $ 在所有变量上具有联合凸性和可微性，以保证平滑性与次梯度控制。
• 应用链式论证，通过将损失随时间分解并利用梯度范数的统一有界性来控制后悔。
• 通过将后悔分解为各变量的贡献，每个分量由梯度范数上界的倒数控制。
• 通过在动作数量中采用对数缩放，实现探索与利用之间的平衡，从而对算法进行调优以最小化后悔。

实验结果

研究问题

• RQ1 基于链式结构的算法是否能在多变量在线非参数回归中实现最优后悔边界？
• RQ2 如何对多变量指数梯度算法进行调优，以在梯度范数有界条件下最小化后悔？
• RQ3 在多决策变量上，对可微且联合凸的损失函数进行在线学习，其理论后悔边界是什么？
• RQ4 对 $ \log N_k $ 和 $ T $ 的依赖关系如何影响多变量在线回归中的收敛速度？
• RQ5 能否利用梯度范数约束推导出自适应、与数据无关的学习率，以确保最优的后悔缩放？

主要发现

• 多变量指数梯度算法的后悔被限制在 $ O\left(\sqrt{\log N_k / T}\right) $，在时间跨度 $ T $ 和动作数 $ N_k $ 上实现了最优缩放。
• 学习率 $ \eta^{(k)} = \sqrt{2\log(N_k)/T} / G^{(k)} $ 在给定梯度范数约束下确保了后悔边界的紧致性。
• 该边界在所有时间步中，损失函数偏梯度的无穷范数均被一致有界这一假设下成立。
• 通过利用所有变量上损失函数的联合凸性与可微性，该方法实现了最优后悔。
• 链式技术使得后悔可被分解为各变量的可管理分量，从而实现清晰且可扩展的分析。
• 理论分析证实，该算法通过 $ N_k $ 的对数依赖关系，自适应地适应了决策空间的内在复杂度。