[論文レビュー] ZigZag: A new approach to adaptive online learning

Dylan J. Foster, Alexander Rakhlin+1 more|arXiv (Cornell University)|Apr 13, 2017

Online Learning and Analytics被引用数 3

ひとこと要約

本稿では、データ系列の経験的ラデマッハ複雑度に比例するレグレットバウンドを達成する、新しい適応的オンライン学習アルゴリズム族であるZigZagを紹介する。バナッハ空間におけるデカップリング不等式のバーグホルダーの幾何的特徴付けを活用することで、ℓp、シュタットンp-ノルム、および再生核ヒルバート空間を含むさまざまなノルムに対して、効率的でスケールフリーなアルゴリズムを構築し、敵対的およびi.i.d.設定の両方で、データ依存のレグレットと改善された一般化性能を達成する。

ABSTRACT

We develop a novel family of algorithms for the online learning setting with regret against any data sequence bounded by the empirical Rademacher complexity of that sequence. To develop a general theory of when this type of adaptive regret bound is achievable we establish a connection to the theory of decoupling inequalities for martingales in Banach spaces. When the hypothesis class is a set of linear functions bounded in some norm, such a regret bound is achievable if and only if the norm satisfies certain decoupling inequalities for martingales. Donald Burkholder's celebrated geometric characterization of decoupling inequalities (1984) states that such an inequality holds if and only if there exists a special function called a Burkholder function satisfying certain restricted concavity properties. Our online learning algorithms are efficient in terms of queries to this function. We realize our general theory by giving novel efficient algorithms for classes including lp norms, Schatten p-norms, group norms, and reproducing kernel Hilbert spaces. The empirical Rademacher complexity regret bound implies --- when used in the i.i.d. setting --- a data-dependent complexity bound for excess risk after online-to-batch conversion. To showcase the power of the empirical Rademacher complexity regret bound, we derive improved rates for a supervised learning generalization of the online learning with low rank experts task and for the online matrix prediction task. In addition to obtaining tight data-dependent regret bounds, our algorithms enjoy improved efficiency over previous techniques based on Rademacher complexity, automatically work in the infinite horizon setting, and are scale-free. To obtain such adaptive methods, we introduce novel machinery, and the resulting algorithms are not based on the standard tools of online convex optimization.

研究の動機と目的

• 経験的ラデマッハ複雑度に比例するレグレットバウンドを達成する一般理論の構築。
• バナッハ空間におけるマルティンゲールデカップリング不等式を用いた、そのようなレグレットバウンドの必要十分条件の確立。
• 系列の難易度に関する事前知識が不要な、効率的でスケールフリーなオンラインアルゴリズムの設計。
• 無限次元関数クラス、特に再生核ヒルバート空間や低ランク行列予測へのフレームワークの拡張。
• オンラインからバッチへの変換後の一般化レートの向上、特に低ランクエキスパートおよび行列予測タスクにおける優位性の実証。

提案手法

• バーグホルダーのUMD空間の幾何的特徴付けに基づく「ジグザグ凹関数」として導出される、オンライン学習アルゴリズムの新クラスを提案。
• UMD（無条件マルティンゲール差分）不等式と停止時刻の議論を活用した、新たな機械的仕組みを用いてレグレットバウンドを導出。
• 制限された凹性および上界性を満たすバーグホルダー関数のクエリによって、効率的なアルゴリズムを構築。
• ℓp、シュタットンp-ノルム、グループノルム、RKHSの具体的なノルムに対して理論を適用し、適切なU関数の存在を示す。
• 無限大の時系列に対応するための「ダブリングテクニック」と再帰的関数合成を用い、無限時間枠での適応性を保証。
• 経験的ラデマッハ複雑度を介してデータ依存のレグレットバウンドを導出し、オンラインからバッチへの変換後にi.i.d.設定における超過リスクバウンドに変換可能。

実験結果

リサーチクエスチョン

• RQ1 仮説クラスにどのような条件を課せば、オンラインレグレットがデータ系列の経験的ラデマッハ複雑度でバウンド可能になるか？
• RQ2 そのようなレグレットバウンドを可能にするバーグホルダー関数が存在する条件は何か？ また、その関数はどのように効率的に計算できるか？
• RQ3 このフレームワークは非線形関数クラスや、RKHSや低ランク行列のような無限次元空間へ拡張可能か？
• RQ4 オンラインからバッチへの変換後のi.i.d.設定における一般化に、このレグレットバウンドがどのような意味を持つのか？
• RQ5 得られるアルゴリズムは、既存のラデマッハに基づくオンライン学習手法と比較して、効率性と適応性に優れているか？

主な発見

• 本稿では、レグレットが経験的ラデマッハ複雑度でバウンド可能であることが、かつそれが成り立つのは、対応するノルムが特定のデカップリング不等式を満たす場合に限られ、その条件はバーグホルダー関数の存在によって特徴付けられることを確立した。
• 偶数のp ≥ 2 に対するℓpノルムに対しては、UMD定数Ck ≤ αk⁴を満たす明示的なバーグホルダー関数を構築した。
• 本フレームワークは、無限時間枠でも動作する効率的でスケールフリーなアルゴリズムを生み出し、データの複雑さに自動的に適応する。
• i.i.d.設定では、経験的ラデマッハ複雑度によるレグレットバウンドが、オンラインからバッチへの変換後にデータ依存の超過リスクバウンドに変換可能である。
• 低ランクエキスパートおよびオンライン行列予測タスクにおいて、従来手法を上回る一般化レートを達成した。
• 理論により、関数クラスにおける一般化されたUMD性質の必要十分条件を提供し、経験的カバー数バウンドへの応用も示した。