[论文解读] Combining Expert Advice Efficiently

Wouter M. Koolen, Steven de Rooij|ArXiv.org|Feb 14, 2008

Machine Learning and Algorithms参考文献 12被引用 10

一句话总结

本文提出了一种基于隐马尔可夫模型（HMM）的统一框架，用于结合专家预测，通过建模时变的专家权重，利用标准HMM算法实现最优混合的高效计算。该框架引入了两种新模型——切换分布和运行长度模型，分别实现线性与二次时间复杂度，并通过损失界分析表明在不同切换模式下性能更优。

ABSTRACT

We show how models for prediction with expert advice can be defined concisely and clearly using hidden Markov models (HMMs); standard HMM algorithms can then be used to efficiently calculate, among other things, how the expert predictions should be weighted according to the model. We cast many existing models as HMMs and recover the best known running times in each case. We also describe two new models: the switch distribution, which was recently developed to improve Bayesian/Minimum Description Length model selection, and a new generalisation of the fixed share algorithm based on run-length coding. We give loss bounds for all models and shed new light on their relationships.

研究动机与目标

• 统一并推广现有在时变专家表现下结合专家预测的模型。
• 解决传统贝叶斯混合方法计算效率低下、无法随时间自适应利用多个专家的问题。
• 提出一种基于HMM与沉默状态的系统性、高效方法，用于计算动态专家权重。
• 引入并分析两种无参数新模型——切换分布与运行长度模型，用于专家结合。
• 为所有模型（包括已知与新型模型）提供损失界与计算效率保证。

提出的方法

• 将专家序列先验（ES-先验）建模为HMM，其中隐状态表示专家身份，转移概率编码专家相关性的时间演化。
• 使用标准HMM算法——前向、后向、Viterbi与Baum-Welch算法，实现高效推断，包括对专家序列的边缘化。
• 将数据与专家序列的联合分布表示为基于HMM的ES-先验与各专家预测模型的乘积。
• 将切换分布定义为一个小型HMM，用于捕捉专家之间切换的概率，从而实现线性时间评估。
• 提出运行长度模型作为新型ES-先验，利用运行长度编码来建模专家表现一致的时期。
• 应用前向算法在每个时间步计算预测分布与后验专家权重，实现基于数据的混合自适应。

实验结果

研究问题

• RQ1 如何在单一高效框架下统一专家预测模型，以捕捉时变的专家相关性？
• RQ2 使用HMM评估专家结合模型的计算复杂度是多少？与现有方法相比如何？
• RQ3 在不同切换模式下，新模型——切换分布与运行长度模型——在损失界上的表现如何？
• RQ4 基于HMM的ES-先验能否用于计算反映过去表现与时间相关性的后验专家权重？
• RQ5 在计算成本与预测准确性之间，切换分布与运行长度模型的权衡是什么？

主要发现

• 基于HMM的ES-先验框架可利用标准HMM算法高效计算专家混合权重，运行时间与HMM表示规模成正比。
• 当表示为小型HMM时，切换分布模型实现线性时间评估，并在低切换模式下，其损失界优于固定共享模型。
• 基于运行长度编码的运行长度模型实现二次时间复杂度，当切换次数增长至Ω((log n)²)时，其性能优于切换分布模型。
• 通过将现有模型（如固定共享与通用混合）表示为HMM，本文恢复了其最佳已知运行时间。
• 通过前向与后向算法计算的后验专家权重，提供了比单个专家选择更丰富、时间分辨的混合表示，支持通过后验状态概率进行数据分析。
• 所提出的基于后验状态概率的MAP估计替代方法，可在无需精确计算MAP序列（对一般HMM而言为不可行）的情况下，洞察专家相关性随时间的变化。