[论文解读] Minimax Optimal Algorithms for Unconstrained Linear Optimization

Brendan McMahan, Jacob Abernethy|arXiv (Cornell University)|Dec 5, 2013

Advanced Bandit Algorithms Research参考文献 21被引用 21

一句话总结

本文通过将问题建模为一个序列零和博弈，为无约束在线线性优化开发了极小化极大最优算法。它刻画了博弈的价值、最优玩家与对手策略，并通过一种新颖的基准函数选择方法，推导出一种高效的无约束投注对冲策略。

ABSTRACT

We design and analyze minimax-optimal algorithms for online linear optimization games where the player's choice is unconstrained. The player strives to minimize regret, the difference between his loss and the loss of a post-hoc benchmark strategy. While the standard benchmark is the loss of the best strategy chosen from a bounded comparator set, we consider a very broad range of benchmark functions. The problem is cast as a sequential multi-stage zero-sum game, and we give a thorough analysis of the minimax behavior of the game, providing characterizations for the value of the game, as well as both the player's and the adversary's optimal strategy. We show how these objects can be computed efficiently under certain circumstances, and by selecting an appropriate benchmark, we construct a novel hedging strategy for an unconstrained betting game.

研究动机与目标

• 在一大类基准函数下，设计无约束在线线性优化的极小化极大最优算法。
• 分析后悔最小化问题的序列多阶段零和博弈结构。
• 刻画博弈的价值，以及玩家和对手的最优策略。
• 在特定条件下，实现最优策略的高效计算。
• 通过选择合适的基准函数，构建一种新颖的无约束投注对冲策略。

提出的方法

• 将问题表述为玩家与对手之间的序列多阶段零和博弈。
• 使用极小化极大原理刻画博弈的价值，从而实现对后悔界理论分析。
• 通过博弈论分析推导出玩家和对手的最优策略。
• 在基准函数具有特定结构假设的条件下，实现这些策略的高效计算。
• 通过选择能诱导有利博弈动态的基准函数，构建一种新颖的对冲策略。
• 该框架超越了有界比较集合的限制，允许玩家在无约束条件下行动。

实验结果

研究问题

• RQ1 在任意基准函数下，无约束在线线性优化中的后悔极小化值是什么？
• RQ2 在此序列博弈设定中，玩家和对手的最优策略如何刻画？
• RQ3 在何种条件下，最优策略可以高效计算？
• RQ4 如何从博弈论框架中推导出无约束投注的新型对冲策略？
• RQ5 基准函数在塑造博弈的极小化极大行为中起什么作用？

主要发现

• 博弈的价值被刻画为对玩家策略和对手动作序列的极小化极大优化问题。
• 最优玩家策略被推导为基于博弈价值函数的动态规划递推关系的解。
• 最优对手策略被证明是玩家策略和基准函数结构的函数。
• 当基准函数满足特定的凸性和可微性条件时，最优策略的高效计算成为可能。
• 通过选择能确保极小化极大最优性的基准函数，构建了一种新的无约束投注对冲策略。
• 该框架超越了有界比较集合的限制，使无约束环境下的后悔最小化成为可能。