[論文レビュー] Online Learning via Sequential Complexities

Alexander Rakhlin, Karthik Sridharan+1 more|arXiv (Cornell University)|Jun 6, 2010

Advanced Bandit Algorithms Research参考文献 54被引用数 4

ひとこと要約

本稿では、オンライン学習のミニマックス枠組みにおける分析を目的として、古典的な統計学習の複雑さ測度（ラドエーバー複雑さや被覆数）の拡張版である逐次的複雑さを導入する。オンライン学習可能性の必要十分条件を確立し、これらの複雑さを用いてタイトなレグレットバウンドを導出し、明示的なアルゴリズムの構築なしに、逐次的複雑さを制御することでサブラインアーレグレットが達成可能であることを示している。

ABSTRACT

We consider the problem of sequential prediction and provide tools to study the minimax value of the associated game. Classical statistical learning theory provides several useful complexity measures to study learning with i.i.d. data. Our proposed sequential complexities can be seen as extensions of these measures to the sequential setting. The developed theory is shown to yield precise learning guarantees for the problem of sequential prediction. In particular, we show necessary and sufficient conditions for online learnability in the setting of supervised learning. Several examples show the utility of our framework: we can establish learnability without having to exhibit an explicit online learning algorithm.

研究の動機と目的

• 古典的な統計学習の複雑さ測度を逐次的状況に拡張することで、オンライン学習を非構成的（non-constructive）に分析するフレームワークを構築すること。
• 学習者と敵対者との間の繰り返し2人ゲームのミニマックス値分析を通じて、オンライン学習可能性を特徴付けること。
• 逐次的予測におけるラドエーバー複雑さ、被覆数、ファットシャッタリング次元の逐次的アナロジーを定義・分析すること。
• オンライン教師付き学習におけるサブラインアーレグレット成長のための必要十分条件を導出すること。
• 明示的なオンラインアルゴリズムの構築に依存せず、複雑さ測度に依存して学習可能性を確立できることを示すこと。

提案手法

• オンライン学習ゲームのミニマックス値を、学習者戦略の下界と敵対者戦略の上界における累積損失の期待値から、最良の固定意思決定の損失を引いたものとして定義する。
• i.i.d.設定からの概念の拡張として、逐次的ラドエーバー複雑さをミニマックス値をバウンドする主要な道具として導入する。
• 関数クラスの逐次的意思決定における豊かさを捉える複雑さ測度として、逐次的被覆数およびファットシャッタリング次元を提案する。
• 逐次的複雑さ測度の間の関係を確立し、関数合成における被覆数のバウンドを含む。
• ミニマックス定理を用いてミニマックス値と逐次的ラドエーバー複雑さを関連付け、複雑さ制御によるレグレット分析を可能にする。
• 具体的な例（例えば、ユークリッド球上での線形予測子）にこのフレームワークを適用し、$\mathcal{O}(\sqrt{T}\log^{3/2}(T))$ の明示的レグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 ラドエーバー複雑さや被覆数といった古典的統計学習複雑さ測度の逐次的アナロジーは何か？
• RQ2 逐次的予測問題がオンライン学習可能であるとは、どのような条件下で、レグレットがTに関してサブラインアーリーに成長するか？
• RQ3 明示的な学習アルゴリズムを構築しなくても、オンライン学習可能性を特徴づけられるか？
• RQ4 逐次的複雑さ測度どうしがどのように関係し合い、関数合成においてどのように振る舞うか？
• RQ5 関数クラスの逐次的複雑さが与えられたとき、オンライン設定における教師付き学習の最良の可能なレグレットバウンドは何か？

主な発見

• 本稿では、サブラインアーレグレットが達成可能であるための必要十分条件として、逐次的ラドエーバー複雑さがサブラインアーリーに成長することを確立した。
• ユークリッド球上でのノルム$\|w\|_2 \leq 1$を満たす線形予測子のクラスに対して、逐次的ラドエーバー複雑さは$1/\sqrt{T}$でバウンドされ、これによりレグレットバウンド$\mathcal{O}(\sqrt{T}\log^{3/2}(T))$が得られる。
• $\alpha > 4\sqrt{2}/\sqrt{T}$のとき、線形クラスの被覆数$\mathcal{N}_\infty(\alpha, \mathcal{F}, T)$は$(2eT/\alpha)^{32/\alpha^2}$でバウンドされ、入力次元に依存しない。
• 1-Lipschitz関数クラス$\mathcal{G}$と関数クラス$\mathcal{F}$の合成に関して、$\mathcal{N}_\infty(2\alpha, \mathcal{G} \circ \mathcal{F}, T) \leq \widehat{\mathcal{N}}_\infty(\alpha, \mathcal{G}) \times \mathcal{N}_\infty(\alpha, \mathcal{F}, T)$が成り立ち、複雑さの伝播が可能になる。
• ゲームのミニマックス値は、合成関数クラスの逐次的ラドエーバー複雑さの8T倍でバウンドされ、これにより複雑さ制御による明示的レグレットバウンドが得られる。
• 重み付き指数平均（EWA）アルゴリズムにおいて$\eta = T^{-1/2}$を用いることで、任意のエキスパート$i$に対して、期待レグレット$\sum_{t=1}^T \mathbb{E}[f_t(x_t)] \leq \sum_{t=1}^T f^t_i(x_t) + \frac{\sqrt{T}}{8} + \sqrt{T} \log(1/p_i)$が達成され、フレームワークのアルゴリズム的設計における有用性が示された。