[论文解读] A parameter-free hedging algorithm

Kamalika Chaudhuri, Yoav Freund+1 more|arXiv (Cornell University)|Mar 16, 2009

Advanced Bandit Algorithms Research参考文献 20被引用 64

一句话总结

本文提出 NormalHedge，一种用于决策理论在线学习（DTOL）的无参数在线学习算法，能够动态适应而无需手动调节学习率。该算法在动作的前 $\epsilon$-分位数上实现了 $ O\big(\sqrt{T\ln\frac{1}{\epsilon}} + \ln^2 N\big) $ 的后悔界，其性能与经过最优调参的 Hedge 算法相当，且对大规模动作集具有鲁棒性。

ABSTRACT

We study the problem of decision-theoretic online learning (DTOL). Motivated by practical applications, we focus on DTOL when the number of actions is very large. Previous algorithms for learning in this framework have a tunable learning rate parameter, and a barrier to using online-learning in practical applications is that it is not understood how to set this parameter optimally, particularly when the number of actions is large. In this paper, we offer a clean solution by proposing a novel and completely parameter-free algorithm for DTOL. We introduce a new notion of regret, which is more natural for applications with a large number of actions. We show that our algorithm achieves good performance with respect to this new notion of regret; in addition, it also achieves performance close to that of the best bounds achieved by previous algorithms with optimally-tuned parameters, according to previous notions of regret.

研究动机与目标

• 解决在动作数 $N$ 极大时，在线学习算法中学习率调参的实际挑战。
• 提出一种全新的、完全无参数的算法，消除对人工超参数调整的需求。
• 引入一种新的后悔概念——对前 $\epsilon$-分位数动作的后悔，该概念在存在大量近似最优动作的应用中更为自然。
• 实现与最优调参 Hedge 算法相媲美的后悔界，即使在 $N$ 很大时亦然。

提出的方法

• 该算法采用基于势能的框架，其中每个动作被分配一个势能 $ \phi(x,c) = \exp\big(\frac{([x]_+)^2}{2c}\big) $，其中 $ x $ 为动作的累计后悔，$ c $ 为自适应尺度参数。
• 动作权重根据其势能对后悔的导数进行更新，从而实现动态适应。
• 尺度参数 $ c_t $ 在线根据损失序列进行更新，确保算法能适应观测到的后悔增长。
• 通过根据累计后悔调整势能函数的曲率，该算法在探索与利用之间保持平衡。
• 每轮通过线性搜索计算最优的 $ c_t $，从而在不预先知晓 $ T $ 或 $ N $ 的情况下，确保后悔界成立。

实验结果

研究问题

• RQ1 能否设计一种无参数在线学习算法，在无需调参学习率的情况下表现良好，尤其是在 $ N $ 很大时？
• RQ2 在存在大量近似最优动作的应用中，是否存在比标准“对最优动作的后悔”更自然的后悔概念？
• RQ3 无参数算法能否在该新后悔概念下，实现与最优调参 Hedge 算法相媲美的后悔界？
• RQ4 如何更新自适应尺度参数 $ c_t $，以在不预先知晓 $ T $ 或 $ N $ 的情况下，确保紧密的后悔界？

主要发现

• NormalHedge 算法对前 $\epsilon$-分位数动作实现了 $ O\big(\sqrt{T\ln\frac{1}{\epsilon}} + \ln^2 N\big) $ 的后悔界，且对所有 $ T $ 和 $ \epsilon $ 同时成立。
• 当 $ \epsilon = 1/N $ 时，对最优动作的后悔被限制在 $ O\big(\sqrt{T\ln N} + \ln^2 N\big) $，仅略差于最优调参 Hedge 算法的 $ O(\sqrt{T\ln N}) $ 最优后悔界。
• 该算法完全无参数，无需手动设置学习率 $ \eta $，因此在大规模应用中具有实用性。
• 后悔界在所有轮次和分位数水平下均一致成立，且算法通过动态调整尺度参数 $ c_t $，自适应于观测到的损失序列。