[论文解读] Minimizing Regret in Bandit Online Optimization in Unconstrained and Constrained Action Spaces.

Tatiana Tatarenko, Maryam Kamgarpour|arXiv (Cornell University)|Jun 13, 2018

Advanced Bandit Algorithms Research参考文献 23被引用 3

一句话总结

该论文提出了一种新颖的零阶在线凸优化算法，通过采用针对特定随机化方案的一点梯度估计，在无约束和有约束动作空间中均实现了 O(nT^{2/3}) 的遗憾率。该方法进一步被拓展至两点反馈，与理论遗憾下界相匹配。

ABSTRACT

We consider online convex optimization with a zero-order oracle feedback. In particular, the decision maker does not know the explicit representation of the time-varying cost functions, or their gradients. At each time step, she observes the value of the cost function evaluated at her chosen action. The objective is to minimize the regret, that is, the difference between the sum of the costs she accumulates and that of the static optimal action had she known the sequence of cost functions a priori. We present a novel algorithm to minimize the regret in both unconstrained and constrained action spaces. Our algorithm hinges on a classical idea of one-point estimation of the gradients of the cost functions based on their observed values. However, our choice of the randomization introduced and consequently the proof techniques differ from those of past work. Letting T denote the number of queries of the zero-order oracle and n the problem dimension, the regret rate achieved is O(nT^{2/3}) for both constrained and unconstrained action spaces. Moreover, we adapt the presented algorithm to the setting with two-point feedback and demonstrate that the adapted procedure achieves the theoretical lower bound on the regret.

研究动机与目标

• 解决零阶预言机反馈下的在线凸优化问题，其中成本函数及其梯度均未显式提供。
• 在该反馈模型下，最小化无约束和有约束动作空间中的遗憾。
• 开发一种梯度估计技术，通过新颖的随机化策略优于先前方法。
• 证明所提出的算法在适配至两点反馈时可达到遗憾的理论下界。

提出的方法

• 利用随机扰动进行一点梯度估计，仅基于函数值观测来近似时变成本函数的梯度。
• 提出一种与先前工作不同的特定扰动随机化分布，从而实现更紧致的遗憾分析。
• 设计一种无投影的更新规则，在保持有约束动作空间可行性的同时确保有界遗憾。
• 通过使用对称扰动将算法适配至两点反馈，以提高梯度估计的准确性。
• 通过针对所选随机化方案量身定制的新型集中与鞅论证，推导出 O(nT^{2/3}) 的遗憾界。
• 证明两点反馈变体达到了已知的遗憾理论下界，从而确认其在该设置下的最优性。

实验结果

研究问题

• RQ1 零阶在线优化算法是否能在无梯度信息访问的情况下，在无约束和有约束动作空间中均实现次线性遗憾率？
• RQ2 在高维设置下，一点梯度估计中随机化选择如何影响最终的遗憾界？
• RQ3 所提出的算法是否可适配至两点反馈以匹配遗憾的理论下界？
• RQ4 在零阶在线凸优化中，估计精度与遗憾增长之间的最优权衡是什么？

主要发现

• 所提出的算法在零阶反馈下，于无约束和有约束动作空间中均实现了 O(nT^{2/3}) 的遗憾率。
• 遗憾界独立于约束集的具体结构，仅依赖于维度和时间范围。
• 该算法的随机化方案带来了更优的集中性质，使得相比先前方法能实现更紧致的遗憾分析。
• 当适配至两点反馈时，算法的遗憾与已知理论下界完全匹配，证实了其在该设置下的最优性。
• 该方法无需投影或显式知晓成本函数的梯度，仅依赖于函数值查询。