[论文解读] From Coin Betting to Parameter-Free Online Learning

Francesco Orabona, Dávid Pál|arXiv (Cornell University)|Feb 12, 2016

Advanced Bandit Algorithms Research参考文献 30被引用 4

一句话总结

该论文通过从在线硬币投注算法推导出，统一了希尔伯特空间中的无参数在线学习与专家建议。采用基于Krichevsky-Trofimov的投注策略，该方法在希尔伯特空间中实现了$O(\norm{u}\tsqrt{T \tlog(1+T\norm{u})})$的遗憾，在专家建议中实现了$O(\tsqrt{T(1 + \KL{u}{\pi})})$的遗憾，且无需调节任何参数。

ABSTRACT

In the recent years a number of parameter-free algorithms for online linear optimization over Hilbert spaces and for learning with expert advice have been developed. While these two families of algorithms might seem different to a distract eye, the proof methods are indeed very similar, making the reader wonder if such a connection is only accidental. In this paper, we unify these two families, showing that both can be instantiated from online coin betting algorithms. We present two new reductions from online coin betting to online linear optimization over Hilbert spaces and to learning with expert advice. We instantiate our framework using a betting algorithm based on the Krichevsky-Trofimov estimator. We obtain a simple algorithm for online linear optimization over any Hilbert space with $O( orm{u}\sqrt{T \log(1+T orm{u}}))$ regret with respect to any competitor $u$. For learning with expert advice we obtain an algorithm that has $O(\sqrt{T (1 + \KL{u}{\pi})})$ regret against any competitor $u$ and where $\KL{u}{\pi}$ is the Kullback-Leibler divergence between algorithm's prior distribution $\pi$ and the competitor. In both cases, no parameters need to be tuned.

研究动机与目标

• 在统一的框架下统一希尔伯特空间中的无参数在线学习与专家建议。
• 证明这两个问题均可简化为在线硬币投注算法。
• 消除现有无参数算法中对参数调优的需求。
• 利用Krichevsky-Trofimov估计器在投注框架中提供统一的理论基础。

提出的方法

• 通过一种新颖的约化机制，将希尔伯特空间上的在线线性优化约化为在线硬币投注。
• 采用类似的约化策略，将专家建议学习约化为在线硬币投注。
• 利用Krichevsky-Trofimov估计器构建一个具有最优遗憾保证的无参数投注算法。
• 通过分析硬币投注框架中的累积损失，推导出两种设置下的遗憾界。
• 使用先验分布与竞争者分布之间的Kullback-Leibler散度作为专家建议中相对性能的度量。
• 证明无需调节任何超参数，因为该算法能自动适应问题结构。

实验结果

研究问题

• RQ1 在线线性优化在希尔伯特空间中与专家建议学习能否在单一算法框架下统一？
• RQ2 这两类算法在证明技术上的相似性是偶然的，还是具有结构性的根本原因？
• RQ3 在线硬币投注能否作为构建多样化在线学习场景中无参数算法的基础原 primitive？
• RQ4 在这些场景中，基于Krichevsky-Trofimov估计器的投注算法可实现何种遗憾界？
• RQ5 所得到的算法能否在无需手动调参的情况下实现最优遗憾？

主要发现

• 所提出的算法在任意希尔伯特空间上的在线线性优化中，相对于任意竞争者$u$，实现了$O(\norm{u}\tsqrt{T \tlog(1+T\norm{u})})$的遗憾。
• 在专家建议学习中，算法实现了$O(\tsqrt{T(1 + \KL{u}{\pi})})$的遗憾，其中$\KL{u}{\pi}$为先验$\pi$与竞争者$u$之间的Kullback-Leibler散度。
• 遗憾界在对数因子范围内是最优的，且无需调节任何超参数。
• 该框架通过共同的硬币投注基础，成功统一了看似不同的两类无参数算法。
• Krichevsky-Trofimov估计器的使用使得在两种设置中均能实现自适应的无参数性能。
• 从硬币投注到两类在线学习问题的约化具有通用性，可与其他投注策略实例化。