[论文解读] Constant Regret, Generalized Mixability, and Mirror Descent

Zakaria Mhammedi, Robert C. Williamson|arXiv (Cornell University)|Feb 1, 2018

Advanced Bandit Algorithms Research被引用 1

一句话总结

该论文表征了$Φ$-可混合性，确定了广义聚合算法（GAA）在专家建议预测中实现恒定遗憾的条件。证明了香农熵（$Σ$）具有根本性作用：所有$Φ$-可混合损失必然是$Σ$-可混合的，且当使用香农熵时，GAA能实现最小最坏情况遗憾，通过镜像下降的联系提出了一种新型自适应GAA。

ABSTRACT

We consider the setting of prediction with expert advice; a learner makes predictions by aggregating those of a group of experts. Under this setting, and for the right choice of loss function and ``mixing'' algorithm, it is possible for the learner to achieve a constant regret regardless of the number of prediction rounds. For example, a constant regret can be achieved for \emph{mixable} losses using the \emph{aggregating algorithm}. The \emph{Generalized Aggregating Algorithm} (GAA) is a name for a family of algorithms parameterized by convex functions on simplices (entropies), which reduce to the aggregating algorithm when using the \emph{Shannon entropy} $\operatorname{S}$. For a given entropy $\Phi$, losses for which a constant regret is possible using the extsc{GAA} are called $\Phi$-mixable. Which losses are $\Phi$-mixable was previously left as an open question. We fully characterize $\Phi$-mixability and answer other open questions posed by \cite{Reid2015}. We show that the Shannon entropy $\operatorname{S}$ is fundamental in nature when it comes to mixability; any $\Phi$-mixable loss is necessarily $\operatorname{S}$-mixable, and the lowest worst-case regret of the extsc{GAA} is achieved using the Shannon entropy. Finally, by leveraging the connection between the \emph{mirror descent algorithm} and the update step of the GAA, we suggest a new \emph{adaptive} generalized aggregating algorithm and analyze its performance in terms of the regret bound.

研究动机与目标

• 为任意给定的熵函数$Φ$，表征可通过广义聚合算法（GAA）实现恒定遗憾的损失集合。
• 解决Reid等人（2015年）提出的开放问题：哪些损失是$Φ$-可混合的。
• 确立香农熵（$Σ$）在可混合性与遗憾最小化中的根本作用。
• 利用镜像下降框架设计一种新型自适应GAA，其遗憾界更优。

提出的方法

• 通过在单纯形上的凸分析，形式化表征$Φ$-可混合性。
• 通过在给定熵$Φ$下GAA框架中存在恒定遗憾界，定义$Φ$-可混合性。
• 通过识别与$Φ$相关的Bregman散度，建立GAA更新规则与镜像下降之间的对偶性。
• 使用Legendre-Fenchel变换推导$Φ$的共轭函数，从而推导遗憾界。
• 证明任何$Φ$-可混合损失也必然是$Σ$-可混合的，其中$Σ$为香农熵。
• 通过基于观测损失动态调整熵函数$Φ$，受镜像下降原理启发，提出一种自适应GAA。

实验结果

研究问题

• RQ1 对于定义在概率单纯形上的给定严格凸熵函数$Φ$，哪些损失是$Φ$-可混合的？
• RQ2 是否存在$Φ$-可混合性与$Σ$-可混合性之间的根本性差异，其中$Σ$为香农熵？
• RQ3 当使用香农熵而非其他熵时，GAA是否能实现最低的最坏情况遗憾？
• RQ4 如何利用镜像下降框架设计一种遗憾性能更优的自适应GAA？
• RQ5 $Φ$的选择与GAA中所得遗憾界之间存在何种关系？

主要发现

• 所有$Φ$-可混合损失必然是$Σ$-可混合的，证明香农熵是可混合性的普遍下界。
• 当使用香农熵$Σ$作为底层熵函数时，GAA的最坏情况遗憾最小化。
• GAA更新规则在数学上等价于以$Φ$诱导的Bregman散度为基准的镜像下降步长。
• 通过基于历史损失动态选择$Φ$，提出一种新型自适应GAA，其在非i.i.d.环境中遗憾性能更优。
• 本文通过完全表征$Φ$-可混合损失集合，解决了Reid等人（2015年）提出的开放问题。