[论文解读] Integral Mixabilty: a Tool for Efficient Online Aggregation of Functional and Probabilistic Forecasts.

Alexander Korotin, Vladimir V. V’yugin+1 more|arXiv (Cornell University)|Dec 15, 2019

Statistical Mechanics and Entropy参考文献 58被引用 6

一句话总结

本文引入了积分可混合性（integral mixability）——一种将可混合性和指数凹性损失函数适配于在线学习中函数值预测聚合的新型方法。证明了关键的概率评分规则，包括切片CRPS、能量距离和切片Wasserstein-2，均具有积分可混合性，从而实现了具有后悔最小化理论保证的高效在线聚合。

ABSTRACT

In this paper we extend the setting of the online prediction with expert advice to function-valued forecasts. At each step of the online game several experts predict a function, and the learner has to efficiently aggregate these functional forecasts into a single forecast. We adapt basic mixable (and exponentially concave) loss functions to compare functional predictions and prove that these adaptations are also mixable (exp-concave). We call this phenomena integral mixability (exp-concavity). As an application of our main result, we prove that various loss functions used for probabilistic forecasting are mixable (exp-concave). The considered losses include Sliced Continuous Ranking Probability Score, Energy-Based Distance, Optimal Transport Costs & Sliced Wasserstein-2 distance, Beta-2 & Kullback-Leibler divergences, Characteristic function and Maximum Mean Discrepancies.

研究动机与目标

• 将在线预测中专家建议的框架扩展至函数值预测，其中专家提供完整函数而非标量预测。
• 解决在在线设置下高效组合函数型预测并实现最小后悔的挑战。
• 通过证明其可混合性和指数凹性，为在在线聚合中使用函数型损失函数建立理论基础。
• 证明广泛使用的概率评分规则具有积分可混合性，从而使其可应用于在线学习框架。

提出的方法

• 通过在函数空间上积分，将标准可混合性和指数凹性损失函数适配于函数值预测。
• 将积分可混合性定义为一种性质，确保基于Bregman散度的聚合规则可实现次线性后悔。
• 证明经积分变换后，适应后的损失函数仍保持可混合性（及指数凹性），从而保留理论保证。
• 将该框架应用于特定的函数型损失函数，包括切片CRPS、能量距离和基于最优传输的散度。
• 利用积分可混合性性质，推导出具有理论后悔界保证的在线聚合算法。
• 利用特征函数和最大均值差异（MMD）作为工具，验证特定类别函数型预测的积分可混合性。

实验结果

研究问题

• RQ1 标准可混合性和指数凹性损失函数能否在保持其理论性质的前提下，被扩展至函数值预测？
• RQ2 哪些常用于函数型预测的概率评分规则具有积分可混合性？
• RQ3 积分可混合性是否能在函数型预测设置中实现高效在线聚合并达到次线性后悔？
• RQ4 积分可混合性性质与Sliced Wasserstein-2和Kullback-Leibler散度等现有散度之间有何关联？
• RQ5 该框架能否应用于基于特征函数和MMD散度的非参数函数型预测？

主要发现

• 本文证明了切片连续排名概率评分（Sliced CRPS）具有积分可混合性，从而使其可在具有后悔保证的在线聚合中使用。
• 基于能量的距离和最优传输代价，包括切片Wasserstein-2，均被证明具有积分可混合性，扩展了其在在线学习中的适用性。
• 在适当的函数约束下，Beta-2和Kullback-Leibler散度被证明具有积分可混合性。
• 利用特征函数和最大均值差异（MMD）可在非参数设置下验证积分可混合性。
• 该框架确保函数型预测的在线聚合可实现次线性后悔，并具有理论收敛保证。
• 将标准损失函数适配至函数值设置时，保留了高效学习所必需的关键性质，如指数凹性和Bregman散度相容性。