[论文解读] Cleaning up the neighborhood: A full classification for adversarial partial monitoring

Tor Lattimore, Csaba Szepesvári|arXiv (Cornell University)|May 23, 2018

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文通过引入一种改进的算法 NeighbourhoodWatch2，完成了对有限对抗性部分监控游戏的分类，该算法能正确处理退化游戏——即此前未解决的、仅在低维子空间上最优的动作情形。作者获得了紧致的遗憾界 $O(Fackslashsqrt{nK_{ ext{loc}}ackslashlog K})$，相较于先前工作，消除了对任意常数的依赖，简化了分析过程，并证明了紧致的下界。

ABSTRACT

Partial monitoring is a generalization of the well-known multi-armed bandit framework where the loss is not directly observed by the learner. We complete the classification of finite adversarial partial monitoring to include all games, solving an open problem posed by Bartok et al. [2014]. Along the way we simplify and improve existing algorithms and correct errors in previous analyses. Our second contribution is a new algorithm for the class of games studied by Bartok [2013] where we prove upper and lower regret bounds that shed more light on the dependence of the regret on the game structure.

研究动机与目标

• 通过完成对有限对抗性部分监控游戏的分类，解决部分监控理论中的一个开放问题。
• 解决长期存在的退化游戏问题——即仅在低维子空间上最优的动作，此前未被现有算法处理。
• 简化并修正 NeighbourhoodWatch 和 Bartók 算法的先前分析，修复了在期望与高概率界限之间混淆的问题。
• 建立紧致的遗憾界，明确遗憾对游戏结构的依赖关系，特别是反馈维数和局部动作几何结构。
• 为新算法在所有游戏类型（包括退化类型）下提供统一的高概率遗憾保证。

提出的方法

• 提出 NeighbourhoodWatch2，即 Foster 和 Rakhlin 的 NeighbourhoodWatch 的改进变体，通过更精细的单元分解和局部可观察性检查，增强对退化动作的处理能力。
• 采用几何方法定义单元为动作损失集的交集，以识别局部可观察动作和退化动作。
• 应用指数加权法并采用自适应学习率，通过局部鞅集中不等式和 Hoeffding 型不等式，确保高概率遗憾界。
• 引入一种新颖的局部游戏分解方法以分析遗憾，区分局部与全局反馈结构。
• 纠正 Bartók 等人（2014）中的关键错误，即在定位论证中错误地交换了期望与最大值的顺序。
• 证明下界，表明在一般情况下，遗憾界对反馈符号数量 $F$ 的线性依赖是不可避免的。

实验结果

研究问题

• RQ1 所有有限对抗性部分监控游戏（包括此前未解决的退化情形）的正确分类是什么？
• RQ2 是否存在一种单一算法，能在所有游戏类型（包括退化与非退化游戏）下实现最优遗憾，并提供高概率保证？
• RQ3 遗憾如何依赖于反馈符号数量 $F$、局部动作维数 $K_{\text{loc}}$ 以及游戏几何结构等结构性质？
• RQ4 为何先前对 Bartók 算法的分析无法获得高概率界限？如何在不增加算法复杂度的前提下修正此问题？
• RQ5 遗憾界中对 $F$ 的线性依赖是否不可避免？何种结构条件可实现更优的缩放性能？

主要发现

• 本文通过解决退化情形，完成了对有限对抗性部分监控游戏的分类，该问题自 Bartók 等人（2014）以来一直悬而未决。
• NeighbourhoodWatch2 实现了 $O(F\backslashsqrt{nK_{\text{loc}}\backslashlog K})$ 的遗憾界，相较于 Bartók（2013）的结果，消除了对任意游戏常数的依赖，并减少了对数因子。
• 分析纠正了 Bartók 等人（2014）中的缺陷，即在定位论证中错误地交换了期望与最大值的顺序。
• 本文证明了在一般情况下，对 $F$ 的线性依赖是不可避免的，建立了与上界仅相差对数因子的紧致下界。
• 新算法比 Bartók 的算法更简单，并提供了高概率遗憾保证，而原始分析则依赖于期望。
• 本研究证实，尽管退化动作并非唯一最优，但它们具有信息量，必须在算法设计中予以包含，才能实现最优遗憾。