[論文レビュー] Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition

Lin Chen, Qian Yu+2 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Bandit Algorithms Research参考文献 22被引用数 9

ひとこと要約

本稿では、スイッチ制約付きオンライン凸最適化（OCO）のミニマックスレグレットをΘ(T/√K)として確立し、1次元ではΩ(T/√(2K))、高次元ではΩ(T/√K)であることを証明した。また、ミニバッチ化アルゴリズムを用いたタイトなO(T/√K)上界も得られた。離散的対応物とは異なり、連続的設定ではフェーズ遷移が発生せず、Kに依存するレギームシフトなしで最適レートが達成される。

ABSTRACT

We study the problem of switching-constrained online convex optimization (OCO), where the player has a limited number of opportunities to change her action. While the discrete analog of this online learning task has been studied extensively, previous work in the continuous setting has neither established the minimax rate nor algorithmically achieved it. In this paper, we show that $ T $-round switching-constrained OCO with fewer than $ K $ switches has a minimax regret of $ Θ(\frac{T}{\sqrt{K}}) $. In particular, it is at least $ \frac{T}{\sqrt{2K}} $ for one dimension and at least $ \frac{T}{\sqrt{K}} $ for higher dimensions. The lower bound in higher dimensions is attained by an orthogonal subspace argument. In one dimension, a novel adversarial strategy yields the lower bound of $O(\frac{T}{\sqrt{K}})$, but a precise minimax analysis including constants is more involved. To establish the tighter one-dimensional result, we introduce the \emph{fugal game} relaxation, whose minimax regret lower bounds that of switching-constrained OCO. We show that the minimax regret of the fugal game is at least $ \frac{T}{\sqrt{2K}} $ and thereby establish the optimal minimax lower bound in one dimension. To establish the dimension-independent upper bound, we next show that a mini-batching algorithm provides an $ O(\frac{T}{\sqrt{K}}) $ upper bound, and therefore conclude that the minimax regret of switching-constrained OCO is $ Θ(\frac{T}{\sqrt{K}}) $ for any $K$. This is in sharp contrast to its discrete counterpart, the switching-constrained prediction-from-experts problem, which exhibits a phase transition in minimax regret between the low-switching and high-switching regimes.

研究の動機と目的

• スイッチ制約付きOCOにおけるミニマックスレグレットの理解のギャップを埋めること。先行研究ではレートが確立されておらず、アルゴリズム的に達成されていなかった。
• 限られたスイッチ回数を持つ連続的OCO設定が、離散的対応物（例：エキスパートからの予測）と同様にフェーズ遷移を示すかを解明すること。
• 次元に依存しないタイトな下界と上界を、定数因子の意味で最適な形で導出すること。
• 1次元におけるミニマックス下界を確立するための道具として、フェューガルゲーム緩和を導入・分析すること。
• ミニバッチ化アルゴリズムを設計・分析し、最適なO(T/√K)レグレット上界を達成すること。

提案手法

• スイッチ制約付きOCOのミニマックスレグレットを下界付ける、新たなゲーム理論的枠組み「フェューガルゲーム緩和」を導入する。
• 1次元における新規な敵対的戦略を考案し、ミニマックスレグレットに対してΩ(T/√(2K))の下界を証明する。
• 直交部分空間の議論を用いて、高次元におけるΩ(T/√K)の下界を導出する。
• TラウンドをK個のバッチに分割し、各バッチ内で標準的なOCOアルゴリズムを適用するミニバッチ化アルゴリズムを提案する。
• ミニバッチ化アルゴリズムがO(T/√K)のレグレット上界を達成することを証明し、下界と一致させることで最適性を示す。
• 任意のKに対してミニマックスレグレットがΘ(T/√K)であることを確立し、低スイッチ・高スイッチレジーム間でフェーズ遷移が発生しないことを見出す。

実験結果

リサーチクエスチョン

• RQ1 1次元および高次元におけるスイッチ制約付きOCOのミニマックスレグレットレートは何か？
• RQ2 スイッチ制約付きの連続的OCO設定は、離散的予測からエキスパートを選択する問題と同様に、レグレット行動にフェーズ遷移を示すか？
• RQ3 定数因子を含めた1次元におけるミニマックスレグレットのタイトな下界を確立できるか？
• RQ4 スイッチ制約付きOCO設定で、最適なO(T/√K)レグレットレートを達成するシンプルで効率的なアルゴリズムは存在するか？
• RQ5 ミニマックスレグレットは許可されたスイッチ回数Kにどのように依存するか？また、次元に依存するか？

主な発見

• スイッチ制約付きOCOのミニマックスレグレットはΘ(T/√K)であり、低スイッチ・高スイッチレジーム間でフェーズ遷移は発生しない。
• 1次元ではミニマックスレグレットが少なくともT/√(2K)以上であり、フェューガルゲーム緩和を用いてこの下界がタイトであることが示された。
• 高次元ではミニマックスレグレットが少なくともT/√K以上であることが、直交部分空間の議論を用いて証明された。
• ミニバッチ化アルゴリズムがO(T/√K)のレグレット上界を達成し、下界と一致することで最適性が裏付けられた。
• ミニマックスレグレットは次元に依存せず、次元が増加しても劣化しない。
• この結果は、離散的スイッチ制約付きエキスパート予測問題とは顕著に異なる。後者はレグレットスケーリングにフェーズ遷移を示す。