[论文解读] On the asymptotic optimality of the comb strategy for prediction with expert advice

Erhan Bayraktar, Ibrahim Ekren+1 more|arXiv (Cornell University)|Feb 6, 2019

Advanced Bandit Algorithms Research参考文献 19被引用 6

一句话总结

本文通过偏微分方程（PDE）与随机分析，证明了在四名专家的预测专家建议问题中，组合策略的渐近最优性。通过建立一个由双曲型PDE系统导出的值函数精确渐近展开，并验证其满足Hamilton-Jacobi-Bellman方程，作者确认最优遗憾的增长率为 $\frac{\pi}{4\sqrt{2\delta}}$，从而验证了Gravin等人（2012年）的猜想。

ABSTRACT

For the problem of prediction with expert advice in the adversarial setting with geometric stopping, we compute the exact leading order expansion for the long time behavior of the value function. Then, we use this expansion to prove that as conjectured in Gravin et al. [12], the comb strategies are indeed asymptotically optimal for the adversary in the case of 4 experts.

研究动机与目标

• 解决Gravin、Peres与Sivan（2012年）提出的关于四名专家预测专家建议问题中遗憾的渐近行为的两个猜想。
• 为小几何停止参数 $\delta > 0$ 的情形，建立值函数的精确主导阶渐近展开，对应于长时间行为。
• 证明组合策略——即自然选择最佳与最差专家——在四名专家情形下对对手是渐近最优的。
• 开发一种新颖方法，结合PDE理论、反射Bm与双曲型系统，以显式计算值函数。
• 验证所提出的值函数满足Hamilton-Jacobi-Bellman方程，从而确认组合策略的最优性。

提出的方法

• 通过缩放值函数与粘性解理论，推导出刻画长时间行为的极限椭圆型PDE（2.5式）。
• 通过引理4.1，将值函数与第一卦限中斜向反射Bm的期望局部时时间联系起来。
• 利用一组一阶双曲型PDE（5.17式）与（5.18式）刻画定义域边界上的值函数。
• 通过对称性与边界条件，显式求解双曲型系统，以计算定义域上的值函数。
• 应用最大值原理（命题5.4）验证校正项的非负性，确保与HJB方程的一致性。
• 在第6节中进行验证论证，确认所构造的值函数满足HJB方程，从而证明组合策略的最优性。

实验结果

研究问题

• RQ1 组合策略是否在四名专家情形下实现 $\frac{\pi}{4\sqrt{2\delta}}$ 的渐近遗憾增长率？
• RQ2 能否通过PDE与随机过程显式计算四名专家预测问题的值函数？
• RQ3 组合策略在四名专家的几何停止问题中对对手是否渐近最优？
• RQ4 能否使用一组双曲型PDE来刻画反射区域边界上值函数的特征？
• RQ5 所提出的解是否满足长时极限下的Hamilton-Jacobi-Bellman方程？

主要发现

• 四名专家的值函数主导阶渐近展开被推导为当 $\delta \to 0^+$ 时的 $\frac{\pi}{4\sqrt{2\delta}}$，从而证实了Gravin等人（2012年）的猜想。
• 值函数通过双曲型PDE系统（5.17式）与（5.18式）显式计算得出，该系统刻画了斜向反射Bm的期望局部时时间。
• 验证表明该解满足Hamilton-Jacobi-Bellman方程（2.5式），从而证明组合策略对对手是渐近最优的。
• 最大值原理（命题5.4）确保了校正项的非负性，这对验证论证至关重要。
• 该方法原则上可推广至 $N \geq 5$ 名专家，前提是斜向反射Bm的不变集可被刻画。
• 渐近遗憾的标度与乘法权重算法的已知界一致，确认了与既定学习理论结果的一致性。