[论文解读] Generalized Mixability via Entropic Duality

Mark D. Reid, Rafael Frongillo+2 more|arXiv (Cornell University)|Jun 24, 2014

Advanced Bandit Algorithms Research参考文献 29被引用 9

一句话总结

本文通过在概率单纯形上使用任意凸熵函数 $Φ$，引入了一种广义的可混合性概念——$Φ$-可混合性，将经典预测专家建议理论推广至更一般情形。通过利用熵对偶性和Bregman散度，作者推导出一种广义聚合算法，该算法可保证 $Φ$-可混合损失的恒定遗憾。关键洞见在于，经典可混合性中的对数/指数运算并非本质性结构，而是熵对偶性质的自然结果。

ABSTRACT

Mixability is a property of a loss which characterizes when fast convergence is possible in the game of prediction with expert advice. We show that a key property of mixability generalizes, and the exp and log operations present in the usual theory are not as special as one might have thought. In doing this we introduce a more general notion of $Φ$-mixability where $Φ$ is a general entropy (\ie, any convex function on probabilities). We show how a property shared by the convex dual of any such entropy yields a natural algorithm (the minimizer of a regret bound) which, analogous to the classical aggregating algorithm, is guaranteed a constant regret when used with $Φ$-mixable losses. We characterize precisely which $Φ$ have $Φ$-mixable losses and put forward a number of conjectures about the optimality and relationships between different choices of entropy.

研究动机与目标

• 将经典预测专家建议中的可混合性概念推广至对数与指数函数之外的更广范围。
• 确定任意凸熵 $Φ$ 下损失为 $Φ$-可混合的条件。
• 开发一种广义聚合算法，利用任意 $Φ$-可混合损失实现恒定遗憾。
• 从遗憾界角度刻画不同熵函数的最优性，并识别潜在的普遍支配关系。
• 通过对偶性与凸分析，探索熵函数与对应遗憾界之间的关系。

提出的方法

• 通过在概率单纯形上定义一般熵 $Φ$ 的共轭函数，引入 $Φ$-可混合性。
• 通过最小化与 $Φ$ 相关的Bregman散度所导出的遗憾界，构建广义聚合算法。
• 利用熵对偶性证明，只要 $Φ$ 的共轭函数满足平移不变性，核心技术结果——恒定遗憾——即可成立。
• 通过 $Φ$ 及其共轭函数的Legendre条件，刻画 $Φ$-可混合损失的集合。
• 定义尺度不变的遗憾界 $R_{\ell,\Phi}$，以独立于尺度的方式比较不同熵函数。
• 使用 R 语言中的数值优化方法，计算最大 $Φ$-可混合常数，并评估不同熵-损失配对的遗憾界。

实验结果

研究问题

• RQ1 经典可混合性条件能否推广至对数与指数函数之外？
• RQ2 凸熵 $Φ$ 的何种结构性质可确保损失为 $Φ$-可混合？
• RQ3 在所有损失中，负香农熵 $H$ 是否在实现更紧致遗憾界方面普遍优于其他熵函数？
• RQ4 当损失 $\ell^{\Phi}$ 由同一熵 $Φ$ 导出时，最优 $Φ$-可混合常数是否恒为 1？
• RQ5 如何以尺度不变的方式比较不同熵函数下广义聚合算法的遗憾界？

主要发现

• 广义聚合算法可保证任意 $Φ$-可混合损失的恒定遗憾，其遗憾界为 $\eta^{-1} \inf_{\mu} \sup_{\theta} D_{\Phi}(\delta_{\theta}, \mu)$。
• 实现恒定遗憾的关键性质并非对数/指数函数本身，而是熵 $Φ$ 的共轭函数所具备的平移不变性。
• 在所有测试的两结果、两专家博弈中，负香农熵 $H$ 在所有损失-熵配对中均实现了最紧致的遗憾界，支持猜想 2。
• 当损失 $\ell^{\Phi}$ 由同一熵 $Φ$ 导出时，最大 $Φ$-可混合常数 $\eta$ 恒为 1，支持猜想 3。
• 遗憾界 $R_{\ell,\Phi}$ 在 $\Phi$ 的尺度变换下保持不变，从而实现不同熵函数之间的公平比较。
• 本文识别出一种尺度不变的支配关系 $\Phi \geq_{*} \Psi$，使得 $\Phi$ 支配 $\Psi$ 当且仅当对所有损失 $\ell$ 都有 $R_{\ell,\Phi} \leq R_{\ell,\Psi}$。