[论文解读] An online convex optimization approach to Blackwell's approachability

Nahum Shimkin|arXiv (Cornell University)|Jan 1, 2016

Advanced Bandit Algorithms Research参考文献 21被引用 5

一句话总结

本文提出了一种直接的在线凸优化（OCO）框架，用于重复向量收益博弈中的Blackwell可逼近性，取代了以往对在线线性规划的依赖。通过利用凸目标集的支撑函数以及OCO算法——尤其是Follow the Leader——该方法推广了可逼近性策略，恢复了Blackwell原始算法及其收敛性保证，同时实现了灵活的、与范数相关的策略设计。

ABSTRACT

The problem of approachability in repeated games with vector payoffs was introduced by Blackwell in the 1950s, along with geometric conditions and corresponding approachability strategies that rely on computing a sequence of direction vectors in the payoff space. For convex target sets, these vectors are obtained as projections from the current average payoff vector to the set. A recent paper by Abernethy, Batlett and Hazan (2011) proposed a class of approachability algorithms that rely on Online Linear Programming for obtaining alternative sequences of direction vectors. This is first implemented for target sets that are convex cones, and then generalized to any convex set by embedding it in a higher-dimensional convex cone. In this paper we present a more direct formulation that relies on general Online Convex Optimization (OCO) algorithms, along with basic properties of the support function of convex sets. This leads to a general class of approachability algorithms, depending on the choice of the OCO algorithm and the used norms. Blackwell's original algorithm and its convergence are recovered when Follow The Leader (or a regularized version thereof) is used for the OCO algorithm.

研究动机与目标

• 开发一种更直接且通用的方法，利用在线凸优化（OCO）替代间接嵌入或在线线性规划，实现Blackwell可逼近性。
• 通过凸目标集的支撑函数，统一并推广现有的可逼近性算法。
• 通过选择不同的OCO算法和范数，实现可逼近性策略的灵活设计，同时保持对凸目标集的收敛性。
• 当在OCO框架中使用Follow the Leader（或其正则化变体）时，恢复Blackwell原始算法及其收敛性特性。

提出的方法

• 使用凸目标集的支撑函数来表述可逼近性问题，该函数在收益空间中提供了集合的对偶表示。
• 将选择方向向量的问题简化为在支撑函数上求解一个在线凸优化问题。
• 使用标准的OCO算法（例如Follow the Leader）生成引导玩家策略趋向目标集的方向向量。
• 通过利用支撑函数的次梯度性质以及所选OCO算法的遗憾界，确保收敛性。
• 通过将目标集嵌入更高维的凸锥中，将框架扩展至任意凸集，但主要贡献在于无需此类嵌入的直接OCO公式化。
• 证明OCO算法及其相关范数的选择会影响可逼近性策略的收敛速度和鲁棒性。

实验结果

研究问题

• RQ1 能否用直接的OCO公式化替代Blackwell可逼近性框架中基于间接嵌入的方法？
• RQ2 不同的OCO算法和范数如何影响可逼近性策略的设计与收敛性？
• RQ3 在何种条件下，基于OCO的方法能恢复Blackwell原始算法及其收敛性保证？
• RQ4 凸集的支撑函数在实现通用且灵活的可逼近性框架中起到什么作用？
• RQ5 该框架能否推广至任意凸目标集，而无需预先将其嵌入凸锥？

主要发现

• 所提出的基于OCO的框架为重复向量收益博弈中的可逼近性提供了一种通用且直接的方法，避免了将凸集嵌入更高维锥的需要。
• 当使用Follow the Leader（或其正则化变体）作为OCO算法时，所得策略恢复了Blackwell原始可逼近性算法及其收敛性特性。
• 该框架建立了OCO算法的遗憾与平均收益向量向目标集收敛速率之间的清晰联系。
• OCO算法及其相关范数的选择直接影响方向向量，从而决定收敛路径与速度。
• 目标集的支撑函数作为关键的对偶表示，使OCO问题得以公式化，并在需要时确保凸性与可微性。
• 该方法通过直接利用凸集的支撑函数来处理其几何结构，推广了基于在线线性规划的先前方法。