[论文解读] Dimension-Free Bounds on Chasing Convex Functions

C. J. Argue, Anupam Gupta+1 more|arXiv (Cornell University)|May 28, 2020

Optimization and Search Problems参考文献 28被引用 4

一句话总结

本论文通过利用结构化特性，提出了高维空间中追逐凸函数的无维数竞争算法：对于 $\kappa$-良好条件函数，实现了与维度无关的 $O(\sqrt{\kappa})$-竞争比；对于 $k$-维仿射子空间，给出了 $O(\min(k, \sqrt{k\log T}))$-竞争比。该方法通过仿射等距进行维数约减，并在低维子空间中利用现有的凸体追逐算法。

ABSTRACT

We consider the problem of chasing convex functions, where functions arrive over time. The player takes actions after seeing the function, and the goal is to achieve a small function cost for these actions, as well as a small cost for moving between actions. While the general problem requires a polynomial dependence on the dimension, we show how to get dimension-independent bounds for well-behaved functions. In particular, we consider the case where the convex functions are $κ$-well-conditioned, and give an algorithm that achieves an $O(\sqrt κ)$-competitiveness. Moreover, when the functions are supported on $k$-dimensional affine subspaces--e.g., when the function are the indicators of some affine subspaces--we get $O(\min(k, \sqrt{k \log T}))$-competitive algorithms for request sequences of length $T$. We also show some lower bounds, that well-conditioned functions require $Ω(κ^{1/3})$-competitiveness, and $k$-dimensional functions require $Ω(\sqrt{k})$-competitiveness.

研究动机与目标

• 通过推导与维度无关的竞争比，克服凸函数追逐（CFC）中的维数灾难。
• 在结构化假设下研究 CFC：良好条件函数和定义在低维仿射子空间上的函数。
• 设计在线算法，实现与环境维度 $d$ 无关的竞争比，同时保持强性能保证。
• 为两种情形建立紧致下界，以验证所提算法的最优性。

提出的方法

• 提出一种新颖算法 COBD，用于良好条件函数，通过势函数和基于梯度的更新来平衡移动成本与函数成本。
• 使用仿射等距将高维 $k$-维凸体嵌入到 $2k+1$-维子空间中，保持距离和成本不变。
• 将追逐 $k$-维仿射子空间的问题约化为在 $O(k)$ 维空间中的凸体追逐问题，利用现有的 $g(d)$-竞争算法。
• 应用维数约定定理，将原始高维问题转化为具有等价成本结构的低维问题。
• 利用 $\|R_t(x_t) - R_{t-1}(x_{t-1})\| = \|x_t - x_{t-1}\|$ 的事实，确保变换下成本的等价性。
• 将低维空间中的竞争算法与变换后的问题相结合，推导出整体竞争比。

实验结果

研究问题

• RQ1 当函数为良好条件函数时，能否在凸函数追逐中实现无维数竞争比？
• RQ2 在 $\mathbb{R}^d$ 中追逐 $k$-维仿射子空间的最优竞争比是多少？
• RQ3 能否在不损失竞争性的情况下，将高维凸函数追逐约化为低维实例？
• RQ4 良好条件函数和低维函数追逐问题的紧致下界是什么？
• RQ5 对于良好条件函数，$O(\sqrt{\kappa})$ 竞争比是否在常数因子内最优？

主要发现

• 对于约束型 CFC 中的 $\kappa$-良好条件函数，实现了与环境维度 $d$ 无关的 $O(\sqrt{\kappa})$-竞争算法。
• 对于定义在 $k$-维仿射子空间上的函数，实现了与 $d$ 无关的 $O(\min(k, \sqrt{k\log T}))$-竞争算法。
• 通过仿射等距的维数约减技术保持了距离，并可将 $k$-维追逐问题约化为 $O(k)$-维追逐问题。
• 对于 $k$-维函数的下界为 $\Omega(\sqrt{k})$，表明 $O(\sqrt{k\log T})$ 的界在对数因子内是紧致的。
• 对于良好条件函数的下界为 $\Omega(\kappa^{1/3})$，表明 $O(\sqrt{\kappa})$ 的界并非紧致，但相比 $\kappa$ 的多项式依赖已实现显著改进。
• COBD 算法在常数因子内是紧致的，其在无约束设置下存在匹配的 $\Omega(\sqrt{\kappa})$ 下界。