[论文解读] Defensive forecasting for optimal prediction with expert advice

Vladimir Vovk|ArXiv.org|Aug 10, 2007

Advanced Bandit Algorithms Research参考文献 21被引用 14

一句话总结

本文提出了一种防御性预测方法，用于在二元结果中实现最优预测，且专家的建议可能基于学习者的预测。该方法证明，对于任意完全可混合损失函数（包括二次损失和对数损失），防御性预测可实现与聚合算法相同的最优性能保证——即 $ L_N \leq \min_k L_N^k + \frac{\ln K}{\eta} $，同时能够处理专家建议对学习者预测的连续依赖关系。

ABSTRACT

The method of defensive forecasting is applied to the problem of prediction with expert advice for binary outcomes. It turns out that defensive forecasting is not only competitive with the Aggregating Algorithm but also handles the case of "second-guessing" experts, whose advice depends on the learner's prediction; this paper assumes that the dependence on the learner's prediction is continuous.

研究动机与目标

• 开发一种在对抗性条件下与专家建议竞争的稳健预测方法，尤其当专家的建议依赖于学习者的预测时。
• 将防御性预测扩展至处理专家建议以连续方式依赖于学习者输出的“二次猜测”情形。
• 建立防御性预测在完全可混合损失函数下可实现与聚合算法相同的最优性能保证。
• 基于局部鞅和预测连续性，为专家建议下的预测提供博弈论基础。
• 证明防御性预测可在统一框架下适用于标准损失函数，如二次损失和对数损失。

提出的方法

• 将防御性预测应用于二元预测协议，其中学习者预测 $ p_n \in [0,1] $，自然世界揭示 $ \omega_n \in \{0,1\} $，专家提供将预测映射为建议的连续函数 $ \gamma_n^k(p_n) $。
• 通过将学习者与专家之间损失差的累积值的指数乘以 $ \kappa \leq \eta $，构造一个预测连续的局部鞅 $ S_N $，确保 $ S_N $ 的期望值非递增。
• 该方法依赖于损失函数 $ \lambda $ 的 $ \eta $-可混合性，即存在一个超预测集，使得对所有 $ p, g \in [0,1] $，不等式 $ p \exp(\kappa(b - b')) + (1-p)\exp(\kappa(a - a')) \leq 1 $ 成立。
• 学习者选择 $ p_n $ 以最小化相对于专家建议的期望损失，利用局部鞅性质确保长期性能边界。
• 将协议重新表述为标准形式，其中决策空间为 $ [0,1] $，损失函数通过 $ (a_p, b_p) = \arg\min_{(x,y) \in \text{superprediction set}} py + (1-p)x $ 转换为合适的评分规则。
• 利用博弈论框架推导理论保证，学习者的策略确保累积损失始终在最佳专家损失的 $ \frac{\ln K}{\eta} $ 范围内。

实验结果

研究问题

• RQ1 防御性预测能否在专家建议预测中实现与聚合算法相同的最优性能保证？
• RQ2 如何将防御性预测扩展以处理专家建议以连续方式依赖于学习者输出的“二次猜测”情形？
• RQ3 损失函数需满足何种条件，才能使性能边界 $ L_N \leq \min_k L_N^k + \frac{\ln K}{\eta} $ 可实现？
• RQ4 防御性预测是否适用于标准损失函数（如二次损失和对数损失）在专家建议背景下的应用？
• RQ5 防御性预测的博弈论框架能否在专家建议依赖于学习者输出时，仍保持性能保证？

主要发现

• 防御性预测对任意 $ \eta $-可混合损失函数均实现最优性能保证 $ L_N \leq \min_k L_N^k + \frac{\ln K}{\eta} $，与聚合算法的边界一致。
• 该方法在专家建议连续依赖于学习者预测时依然有效，而这是聚合算法未能明确处理的情形。
• 对于完全可混合的二次损失和对数损失函数，防御性预测确保相同的最优遗憾边界 $ \frac{\ln K}{\eta} $。
• 预测连续的局部鞅的存在性确保学习者可始终选择 $ p_n $ 以维持性能保证，而无需考虑专家行为。
• 该理论框架具有普遍适用性，适用于任意完全可混合损失函数，关键条件是存在一个可构造有效局部鞅的超预测集。
• 该结果对所有 $ N $ 均一致成立，确保学习者的累积损失在任意时间步均不会超过最佳专家损失 $ \frac{\ln K}{\eta} $ 以上。