[论文解读] An Information-Theoretic Analysis for Thompson Sampling with Many Actions

Shi Dong, Benjamin Van Roy|arXiv (Cornell University)|May 30, 2018

Advanced Bandit Algorithms Research被引用 24

一句话总结

本文针对具有大量动作的老虎机问题，提出了一种新颖的信息论分析方法，采用率失真框架替代基于熵的后悔界，实现了不依赖动作数量的更紧致的后悔界。该方法为线性老虎机问题建立了 $O(d\sqrt{T\log T})$ 的贝叶斯后悔界，并在逻辑斯蒂函数陡峭度增加时，为逻辑斯蒂老虎机问题得出了衰减型的后悔界，优于以往随模型参数增长而表现不佳的结果。

ABSTRACT

Information-theoretic Bayesian regret bounds of Russo and Van Roy capture the dependence of regret on prior uncertainty. However, this dependence is through entropy, which can become arbitrarily large as the number of actions increases. We establish new bounds that depend instead on a notion of rate-distortion. Among other things, this allows us to recover through information-theoretic arguments a near-optimal bound for the linear bandit. We also offer a bound for the logistic bandit that dramatically improves on the best previously available, though this bound depends on an information-theoretic statistic that we have only been able to quantify via computation.

研究动机与目标

• 通过消除基于熵的先验不确定性度量在动作集大小上的依赖，解决现有信息论后悔界因动作集过大而扩展性差的问题。
• 基于率失真理论构建新的分析框架，以更准确地刻画 Thompson 采样中信息获取与后悔之间的权衡。
• 为线性与广义线性老虎机问题推导出更紧致的贝叶斯后悔界，且在动作数量增加时仍保持有效性。
• 解决以往逻辑斯蒂老虎机后悔界在逻辑斯蒂函数变得更陡峭（即更确定）时反而恶化这一反直觉现象，尽管此时学习难度应降低。
• 通过理论边界与计算证据验证新框架，特别是在逻辑斯蒂老虎机场景下，计算结果支持了关于信息比率的猜想。

提出的方法

• 将 Russo 和 Van Roy 分析中的基于熵的先验不确定性度量，替换为基于率失真理论的不确定性概念，该概念量化了近似最优动作所需的最小信息量。
• 应用率失真理论定义一种新的先验不确定性度量，使其对大规模动作集更具鲁棒性，并更准确反映问题的学习难度。
• 通过一种新颖的信息比率分析推导后悔界，其依赖于率失真函数而非熵，从而在高维与大规模动作场景下实现更优的缩放性能。
• 对于线性老虎机问题，通过利用几何覆盖论证并基于率失真原理界信息比率，实现了 $O(d\sqrt{T\log T})$ 的后悔界。
• 对于逻辑斯蒂老虎机问题，推导出随逻辑斯蒂函数陡峭度参数 $\beta$ 增大而衰减的后悔界，其依赖于对 Thompson 采样信息比率的猜想，该猜想已通过计算实验验证。
• 采用 $\ell_2$-范数覆盖对动作空间与参数空间进行分层划分，以控制最优动作集的复杂度，并推导出对率失真度量的紧致边界。

实验结果

研究问题

• RQ1 能否通过一种更能反映学习难度而非单纯基数的度量，替代基于熵的、对动作集大小敏感的信息论后悔界？
• RQ2 基于率失真理论的分析是否能为 Thompson 采样在线性老虎机问题中提供比基于熵的边界更紧致的后悔界？
• RQ3 为何现有逻辑斯蒂老虎机的边界在逻辑斯蒂函数变得更陡时反而恶化？能否通过新的信息论框架加以修正？
• RQ4 是否能以一种可表征的方式刻画逻辑斯蒂老虎机中 Thompson 采样的信息比率，使其后悔界随模型确定性增强而改善？
• RQ5 所提出的率失真框架是否可推广至具有大规模或连续动作空间的其他广义线性老虎机问题？

主要发现

• 本文为 $d$-维线性老虎机问题建立了 $O(d\sqrt{T\log T})$ 的贝叶斯后悔界，该界比先前的 $O(d\sqrt{T}\log T)$ 更紧，并且不再依赖于动作数量。
• 新边界通过消除对最优动作熵的显式依赖，优于 Russo 和 Van Roy（2016）提出的 $O(\sqrt{dTH(A^*)})$ 信息论边界。
• 对于逻辑斯蒂老虎机问题，随着陡峭度参数 $\beta$ 增大，边界逐渐衰减，当 $T$ 固定时收敛至 $2d\sqrt{T\log 3}$，解决了以往工作中存在的反直觉缩放问题。
• 该分析依赖于对逻辑斯蒂老虎机中 Thompson 采样信息比率的猜想，计算实验支持该猜想，但尚未获得解析证明。
• 率失真框架相较于熵，提供了更细致的先验不确定性度量，尤其在高维或连续动作空间中表现更优。
• 所推导的边界与 $\Omega(d\sqrt{T})$ 的最坏情况后悔下界仅相差 $O(\sqrt{\log T})$ 因子，表明在线性老虎机设置下接近最优。