[論文レビュー] No-Regret Algorithms for Unconstrained Online Convex Optimization

M. J. V. Streeter, H. Brendan McMahan|arXiv (Cornell University)|Nov 9, 2012

Advanced Bandit Algorithms Research参考文献 9被引用数 32

ひとこと要約

本稿では、累積勾配に基づいて学習率を動的に調整する、制約なしオンライン凸最適化のノーレグレットアルゴリズムを提案する。任意の比較対象 $\mathring{x} \in \mathbb{R}^n$ に対して、$R = \|\mathring{x}\|_2$ を事前に知らないまま、近似的に最適なレギュレートバウンド $\mathcal{O}(R\sqrt{T}\log((1+R)T))$ を達成する。特に、$\mathring{x} = 0$ に対するレギュレートは定数で有界であり、オンライン予測やポートフォリオ管理などの制約なし設定において優れた性能を発揮できる。

ABSTRACT

Some of the most compelling applications of online convex optimization, including online prediction and classification, are unconstrained: the natural feasible set is R^n. Existing algorithms fail to achieve sub-linear regret in this setting unless constraints on the comparator point x^* are known in advance. We present algorithms that, without such prior knowledge, offer near-optimal regret bounds with respect to any choice of x^*. In particular, regret with respect to x^* = 0 is constant. We then prove lower bounds showing that our guarantees are near-optimal in this setting.

研究の動機と目的

• 既存のオンライン凸最適化アルゴリズムが、制約なし設定でサブ線形レギュレートを達成するためには比較対象のノルム $R$ を事前に知る必要があるという限界を解消すること。
• すべての比較対象 $\mathring{x} \in \mathbb{R}^n$（特に $\mathring{x} = 0$ を含む）に対して、同時に近似的に最適なレギュレート保証を達成するアルゴリズムを構築すること。
• オンライン予測やポートフォリオ管理などの応用分野における制約なしオンライン学習の理論的保証を提供すること。これらの分野では、実行可能集合が自然に制約されていない。
• 提案されたレギュレートバウンドが制約なし設定で近似的に最適であることを示す下界を確立すること。

提案手法

• アルゴリズムは過去の勾配の累積 $L_2$ ノルムに基づいて学習率を動的に調整し、比較対象ノルムを事前に知らないままスケーリングを適応的に行える。
• 勾配ノルムの和に応じて増加する時変正則化子を用いたFTRL（Follow-the-Regularized-Leader）の変種を用いる。
• 累積勾配の大きさが更新をより積極的に行う必要があることを示唆する場合、学習率を増加させることで、探索と活用のバランスをとる。
• 有効な正則化子の成長を制御することにより、原点に対するレギュレートが定数で有界であることを保証する。
• 理論的分析では、集中不等式と二項尾確率の境界を用い、敵対的勾配系列下でのレギュレート下界を導出する。
• 各座標に1次元の境界を適用し、それらのレギュレート寄与を合算することで、多次元設定への拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 比較対象 $\mathring{x} \in \mathbb{R}^n$ に対して、$\|\mathring{x}\|_2$ を事前に知らないまま、サブ線形レギュレートを達成する制約なしオンライン凸最適化のためのノーレグレットアルゴリズムを設計できるか？
• RQ2 制約なしオンライン学習において、原点（$\mathring{x} = 0$）に対するレギュレートを定数に抑えることは可能か？ もしそうなら、どのようなアルゴリズム的条件下で達成できるか？
• RQ3 制約なしオンライン線形最適化におけるレギュレートの根本的限界は何か？ また、制約付き設定での既知のバウンドと比較するとどうなるか？
• RQ4 提案された適応的学習率メカニズムは、軸に沿わない、または構造的実行可能集合へ一般化可能か？

主な発見

• 提案アルゴリズムは、任意の比較対象 $\mathring{x} \in \mathbb{R}^n$ に対して、$R = \|\mathring{x}\|_2$ を事前に知らないまま、$\mathcal{O}(R\sqrt{T}\log((1+R)T))$ のレギュレートを達成する。
• 原点（$\mathring{x} = 0$）に対するレギュレートは、$T$ に依存しない定数で有界であり、これは標準的手法に比べて顕著な改善である。
• 下界により、任意のアルゴリズムが原点レギュレートを $\epsilon$ 以下に抑えるためには、ある比較対象 $\mathring{x}$ に対して少なくとも $\Omega(R\sqrt{T\log(R\sqrt{T}/\epsilon)})$ のレギュレートを被る必要があることが示され、提案バウンドの近似的最適性が証明された。
• 固定正則化子を用いたFTRLアルゴリズムでは、$[-\epsilon_T, \epsilon_T]$ の外にある任意の $\mathring{x}$ に対して、レギュレートが $T$ に比例して線形に増加するため、制約なし設定における固定正則化子の限界が浮き彫りになった。
• 多次元設定へは、各座標ごとの解析により、レギュレートバウンドが比較対象の $\ell_1$ ノルム $\|\mathring{x}\|_1$ に比例してスケーリングされることを示した。
• このフレームワークは、少なくとも1つの投資またはエキスパートが顕著なリターンをもたらす場合に、指数的富の増加を可能にする制約なしポートフォリオ管理やオンライン予測に適用可能である。