[论文解读] Exp-Concavity of Proper Composite Losses

Parameswaran Kamalaruban, Robert C. Williamson+1 more|arXiv (Cornell University)|May 20, 2018

Advanced Bandit Algorithms Research参考文献 19被引用 6

一句话总结

本文对合适的复合损失的指数次凸性提供了完整的表征，表明任何 β-可混合的二元合适损失均可通过合适的链接函数转化为 β-指数次凸的复合损失。关键贡献在于提出了一种基于几何与微积分的方法来构造此类链接函数，从而在在线学习中通过加权平均算法实现 O(1) 的遗憾界，且通过近似方法将结果扩展至多分类设置。

ABSTRACT

The goal of online prediction with expert advice is to find a decision strategy which will perform almost as well as the best expert in a given pool of experts, on any sequence of outcomes. This problem has been widely studied and $O(\sqrt{T})$ and $O(\log{T})$ regret bounds can be achieved for convex losses (\cite{zinkevich2003online}) and strictly convex losses with bounded first and second derivatives (\cite{hazan2007logarithmic}) respectively. In special cases like the Aggregating Algorithm (\cite{vovk1995game}) with mixable losses and the Weighted Average Algorithm (\cite{kivinen1999averaging}) with exp-concave losses, it is possible to achieve $O(1)$ regret bounds. \cite{van2012exp} has argued that mixability and exp-concavity are roughly equivalent under certain conditions. Thus by understanding the underlying relationship between these two notions we can gain the best of both algorithms (strong theoretical performance guarantees of the Aggregating Algorithm and the computational efficiency of the Weighted Average Algorithm). In this paper we provide a complete characterization of the exp-concavity of any proper composite loss. Using this characterization and the mixability condition of proper losses (\cite{van2012mixability}), we show that it is possible to transform (re-parameterize) any $β$-mixable binary proper loss into a $β$-exp-concave composite loss with the same $β$. In the multi-class case, we propose an approximation approach for this transformation.

研究动机与目标

• 在二元和多分类设置下，对合适复合损失的指数次凸性提供完整的表征。
• 通过证明 β-可混合的合适损失可通过重参数化转化为 β-指数次凸的复合损失，弥合可混合性与指数次凸性之间的差距。
• 开发一种基于几何与微积分的方法，用于构造确保指数次凸性同时保持合适性的链接函数。
• 通过几何近似方法（参数 ε）将结果推广至多分类损失。
• 证明加权平均算法在通过所提出的链接函数转换后，可对非指数次凸但 β-可混合的损失实现 O(1) 遗憾。

提出的方法

• 受 van Erven（2012）的几何构造启发，推导出一种链接函数，可将 β-可混合的二元合适损失转换为 β-指数次凸的复合损失。
• 通过使用对数损失与目标损失的权重函数之比，利用微积分推导出另一种链接函数。
• 建立多分类合适复合损失指数次凸性的条件，其表达形式涉及贝叶斯风险与链接函数。
• 提出一种几何近似方法（命题 2），将定义在预测空间 Δⁿ 的子集 Sε 上的可混合损失转换，确保在 ε 足够小时实现指数次凸性。
• 将该变换应用于特定损失（如平方损失、提升损失、对数损失），以验证指数次凸性并计算相应的 β 参数。
• 利用 Van Erven 等人（2012）提出的可混合性条件，将原始损失的可混合性与变换后的复合损失的可混合性关联起来。

实验结果

研究问题

• RQ1 任何 β-可混合的二元合适损失是否都能通过合适的链接函数转化为 β-指数次凸的复合损失？
• RQ2 实现二元合适复合损失 β-指数次凸性的链接函数的显式形式是什么？
• RQ3 该变换如何推广至多分类合适复合损失，尤其在闭式解无法获得时？
• RQ4 可混合常数 β 与变换后得到的指数次凸性参数之间存在何种关系？
• RQ5 在通过所提出的链接函数转换后，加权平均算法是否可对非指数次凸但 β-可混合的损失实现 O(1) 遗憾？

主要发现

• 对于二元合适损失，几何构造（命题 1）与基于微积分的方法（推论 8）均能导出显式的链接函数，将 β-可混合损失转换为 β-指数次凸的复合损失。
• 通过几何方法为平方损失导出的链接函数为 1-指数次凸，基于微积分的链接函数对同一损失也呈现 1-指数次凸性。
• 对于二元提升损失（其为 2-可混合），所提出的链接函数可生成 2-指数次凸的复合损失，从而在加权平均算法下实现 O(1) 遗憾。
• 在多分类情形下，所提出的近似方法可确保任意预测落在 Sε 中（当 ε 足够小时），从而构造出 ε-近似 β-指数次凸的复合损失。
• 对数损失被证明既是 1-可混合又是 1-指数次凸，其导出的链接函数分别退化为恒等函数与线性函数。
• 本文证实指数次凸性蕴含可混合性，且在重参数化下，可混合性可被转化为指数次凸性，从而统一了聚合算法与加权平均算法的理论保证。