[論文レビュー] Dimension-Free Bounds on Chasing Convex Functions

C. J. Argue, Anupam Gupta+1 more|arXiv (Cornell University)|May 28, 2020

Optimization and Search Problems参考文献 28被引用数 4

ひとこと要約

本稿では、構造的性質を活用することで、高次元空間における凸関数の追跡の次元に依存しない競争的アルゴリズムを提示する。$\kappa$-良好条件関数の場合、次元に依存しない $O(\sqrt{\kappa})$-競争的性能を達成する。$k$-次元アフィン部分空間の場合、$O(\min(k, \sqrt{k\log T}))$-競争的性能を達成する。手法はアフィン等長写像による次元削減と、低次元部分空間における既存の凸体追跡アルゴリズムの活用に基づく。

ABSTRACT

We consider the problem of chasing convex functions, where functions arrive over time. The player takes actions after seeing the function, and the goal is to achieve a small function cost for these actions, as well as a small cost for moving between actions. While the general problem requires a polynomial dependence on the dimension, we show how to get dimension-independent bounds for well-behaved functions. In particular, we consider the case where the convex functions are $κ$-well-conditioned, and give an algorithm that achieves an $O(\sqrt κ)$-competitiveness. Moreover, when the functions are supported on $k$-dimensional affine subspaces--e.g., when the function are the indicators of some affine subspaces--we get $O(\min(k, \sqrt{k \log T}))$-competitive algorithms for request sequences of length $T$. We also show some lower bounds, that well-conditioned functions require $Ω(κ^{1/3})$-competitiveness, and $k$-dimensional functions require $Ω(\sqrt{k})$-competitiveness.

研究の動機と目的

• 次元の呪いを克服するため、凸関数追跡（CFC）における次元に依存しない競争比を導出すること。
• 構造的仮定の下でのCFCを研究する：良好条件関数および低次元アフィン部分空間に支持される関数。
• 環境次元 $d$ に依存しない競争比を達成するオンラインアルゴリズムを設計し、強力な性能保証を維持すること。
• 提案されたアルゴリズムの最適性を検証するため、両設定におけるタイトな下界を確立すること。

提案手法

• 潜在関数と勾配に基づく更新を用いた、良好条件関数のための新規アルゴリズム COBD を提案。移動コストと関数コストのバランスを取る。
• 高次元 $k$-次元凸体を $2k+1$-次元部分空間に埋め込むためのアフィン等長写像を用い、距離とコストを保存する。
• $k$-次元アフィン部分空間の追跡問題を、$O(k)$ 次元における凸体追跡問題に還元。既存の $g(d)$-競争的アルゴリズムを活用する。
• 次元削減定理を用いて、元の高次元問題を同等のコスト構造を持つ低次元問題に変換する。
• 変換下で $\|R_t(x_t) - R_{t-1}(x_{t-1})\| = \|x_t - x_{t-1}\|$ が成り立つことを利用して、コストの同等性を維持する。
• 低次元空間における競争的アルゴリズムと変換後の問題を組み合わせ、全体の競争比を導出する。

実験結果

リサーチクエスチョン

• RQ1 関数が良好条件である場合、凸関数追跡において次元に依存しない競争比を達成できるか？
• RQ2 $\mathbb{R}^d$ 内の $k$-次元アフィン部分空間を追跡する際の最適な競争比は何か？
• RQ3 競争的性能を損なわずに、高次元凸関数追跡を低次元インスタンスに還元できるか？
• RQ4 良好条件関数および低次元関数追跡問題におけるタイトな下界は何か？
• RQ5 良好条件関数に対して $O(\sqrt{\kappa})$ の競争比は定数倍の意味で最適か？

主な発見

• 制約付き CFC において、$\kappa$-良好条件関数に対して次元に依存しない $O(\sqrt{\kappa})$-競争的アルゴリズムを達成。
• $k$-次元アフィン部分空間に支持される関数に対して、再び次元に依存しない $O(\min(k, \sqrt{k\log T}))$-競争的アルゴリズムを達成。
• アフィン等長写像による次元削減技術により、距離とコストが保存され、$k$-次元の追跡を $O(k)$-次元の追跡に還元可能。
• $k$-次元関数の下界は $\Omega(\sqrt{k})$ であり、$O(\sqrt{k\log T})$ の境界が対数要因を除いてタイトであることを示す。
• 良好条件関数の下界は $\Omega(\kappa^{1/3})$ であり、$O(\sqrt{\kappa})$ の境界がタイトではないが、$\kappa$ に対する多項式依存よりも顕著な改善であることを示す。
• COBD アルゴリズムは定数倍の意味でタイトであり、非制約設定においても $\Omega(\sqrt{\kappa})$ の下界が一致する。