[論文レビュー] A Chaining Algorithm for Online Nonparametric Regression

Pierre Gaillard, Sébastien Gerchinovitz|arXiv (Cornell University)|Feb 26, 2015

Advanced Bandit Algorithms Research参考文献 26被引用数 9

ひとこと要約

本稿では、多変数で微分可能かつ連合凸な損失関数に対して最適なレグレットバウンドを達成する、チェイン化に基づくオンライン非パラメトリック回帰アルゴリズムを提案する。勾配ノルムと対数要因から導かれる適応的学習率でマルチ変数指数勾配アルゴリズムをチューニングすることにより、レグレットが $ O(\sqrt{\log N_k / T}) $ のスケーリングを示し、複雑で高次元の意思決定空間におけるオンライン学習に対して理論的保証を提供する。

ABSTRACT

We consider the problem of online nonparametric regression with arbitrary deterministic sequences. Using ideas from the chaining technique, we design an algorithm that achieves a Dudley-type regret bound similar to the one obtained in a non-constructive fashion by Rakhlin and Sridharan (2014). Our regret bound is expressed in terms of the metric entropy in the sup norm, which yields optimal guarantees when the metric and sequential entropies are of the same order of magnitude. In particular our algorithm is the first one that achieves optimal rates for online regression over H{ö}lder balls. In addition we show for this example how to adapt our chaining algorithm to get a reasonable computational efficiency with similar regret guarantees (up to a log factor).

研究の動機と目的

• 複数の意思決定変数と複雑で高次元の出力空間を伴う設定におけるオンライン非パラメトリック回帰を扱う。
• 複数の変数にわたる微分可能で連合凸な損失関数を扱う、レグレットを最小化するアルゴリズムを開発する。
• 行動数と時間枠に最適にスケーリングするタイトなレグレットバウンドを導出する。
• 勾配ノルム制約を用いたマルチ変数指数勾配アルゴリズムの原理的チューニング戦略を提供する。
• チェイン化技術と凸性仮定を用いて、オンライン学習理論を多変数・非パラメトリック設定に拡張する。

提案手法

• アルゴリズムは、各変数ごとに1つずつ、複数の行動集合 $ \Delta_{N_k} $ における分布を更新するためにマルチ変数指数勾配（MultivarEG）法を採用する。
• 学習率は $ \eta^{(k)} = \sqrt{2\log(N_k)/T} / G^{(k)} $ と定義され、ここで $ G^{(k)} $ は変数 $ k $ に関する損失関数の偏勾配の無限大ノルムを上限とする。
• 損失関数 $ \ell_t $ がすべての変数において連合凸かつ微分可能であると仮定し、滑らかさと部分勾配の制御を保証する。
• レグレットを時間経過にわたる損失の分解と、勾配ノルムの均一な上限を活用することで、チェイン化の議論を適用してバウンドを求める。
• 各成分が勾配ノルムの上限の逆数によって制御されるように、レグレットを個々の変数の寄与に分解して分析する。
• 行動数の対数スケーリングを用いて、探索と活用のバランスを取ることで、アルゴリズムをレグレットを最小化するようにチューニングする。

実験結果

リサーチクエスチョン

• RQ1 チェイン化に基づくアルゴリズムは、複数変数を伴うオンライン非パラメトリック回帰において、最適なレグレットバウンドを達成できるか？
• RQ2 勾配ノルムの上限が与えられた条件下で、マルチ変数指数勾配アルゴリズムはどのようにチューニングされ、レグレットを最小化できるか？
• RQ3 微分可能で連合凸な損失関数を用いた複数の意思決定変数におけるオンライン学習の理論的レグレットバウンドは何か？
• RQ4 $ \log N_k $ と $ T $ への依存性は、多変数オンライン回帰における収束速度にどのように影響するか？
• RQ5 勾配ノルム制約を用いて、最適なレグレットスケーリングを保証する、データに依存しない適応的学習率を導出できるか？

主な発見

• マルチ変数指数勾配アルゴリズムのレグレットは $ O\left(\sqrt{\log N_k / T}\right) $ でバウンドされ、時間枠 $ T $ と行動数 $ N_k $ に対して最適なスケーリングを達成する。
• 学習率 $ \eta^{(k)} = \sqrt{2\log(N_k)/T} / G^{(k)} $ は、与えられた勾配ノルム制約下でレグレットバウンドがタイトであることを保証する。
• 偏勾配がすべての時間ステップで無限大ノルムにおいて一様に有界であるという仮定のもとで、バウンドは成立する。
• 損失関数の連合凸性と微分可能性を活用することで、最適なレグレットが達成される。
• チェイン化技術により、各変数ごとのレグレットを管理可能な成分に分解でき、明快でスケーラブルな解析が可能になる。
• 理論的解析により、行動数 $ N_k $ に対する対数的依存性を通じて、意思決定空間の固有の複雑さにアルゴリズムが適応することが確認される。