[论文解读] Coin Betting and Parameter-Free Online Learning

Francesco Orabona, Dávid Pál|arXiv (Cornell University)|Feb 12, 2016

Advanced Bandit Algorithms Research被引用 16

一句话总结

本论文提出了一种基于筹码投注的新型无参数在线学习框架，利用Krichevsky-Trofimov估计器，在无需调节学习率的情况下实现最优后悔界。该方法简化了在线线性优化与专家建议学习，其后悔保证和每轮计算复杂度与先前方法相比达到或超越，且无需设置任何参数。

ABSTRACT

In the recent years, a number of parameter-free algorithms have been developed for online linear optimization over Hilbert spaces and for learning with expert advice. These algorithms achieve optimal regret bounds that depend on the unknown competitors, without having to tune the learning rates with oracle choices. We present a new intuitive framework to design parameter-free algorithms for \emph{both} online linear optimization over Hilbert spaces and for learning with expert advice, based on reductions to betting on outcomes of adversarial coins. We instantiate it using a betting algorithm based on the Krichevsky-Trofimov estimator. The resulting algorithms are simple, with no parameters to be tuned, and they improve or match previous results in terms of regret guarantee and per-round complexity.

研究动机与目标

• 开发一种统一且直观的希尔伯特空间中无参数在线学习及专家建议学习的框架。
• 消除在线算法中对基于预言机的调优学习率的需求，此类需求传统上需要知晓竞争者范数或差异。
• 在最小计算开销下实现最优后悔界，改进现有方法中后悔界次优或每轮计算复杂度过高的问题。
• 提供一种可构造、可实现的无参数学习方法，克服先前非构造性框架的局限性。

提出的方法

• 将在线线性优化与专家建议学习问题简化为对抗性硬币结果投注问题。
• 使用Krichevsky-Trofimov（KT）估计器定义一种自适应策略，以应对未知的竞争者范数或差异。
• 应用Fenchel共轭与Lambert W函数，推导出投注策略的闭式更新。
• 通过势函数和对伽马函数与贝塞尔函数的渐近近似推导后悔界。
• 利用势函数的逆函数，以未知竞争者范数或差异的形式界定后悔。
• 提出一种连续筹码投注算法（COCOB），实现在每轮中高效且无参数的更新。

实验结果

研究问题

• RQ1 能否开发一种统一且直观的无参数在线学习框架，以避免对学习率进行基于预言机的调优？
• RQ2 如何将在线线性优化与专家建议学习问题简化为具有可证明后悔界的筹码投注问题？
• RQ3 基于KT估计器的何种投注策略可在无需参数调优的情况下实现最优后悔？
• RQ4 所得到的算法能否在后悔界与每轮计算复杂度两方面均与现有方法相当或更优？
• RQ5 是否可能构造一种具有闭式更新且理论性能最优的无参数算法？

主要发现

• 所提出的算法在希尔伯特空间上的在线线性优化中实现了 $\mathcal{O}(\|u\|\sqrt{T\ln(1+\|u\|T)})$ 的后悔界，与目前已知的最佳理论边界一致。
• 在专家建议学习中，该算法实现了 $\mathcal{O}(\sqrt{T(\ln\ln T + \mathrm{D}(u\|\pi))})$ 的后悔界，优于先前结果中含 $\mathcal{O}(\log\log T)$ 因子的版本。
• 该方法每轮仅需 $\mathcal{O}(1)$ 的计算量，显著优于每轮需求解数值问题的算法。
• 该框架具有构造性且直观，基于向筹码投注问题的约化，为无参数学习提供了新视角。
• Lambert W函数与Fenchel对偶性的应用使得闭式更新成为可能，无需数值优化。
• 该算法完全无参数，能自适应未知的竞争者范数或差异，无需先验知识即可实现最优性能。