[論文レビュー] Adaptive Online Learning

Dylan J. Foster, Alexander Rakhlin+1 more|arXiv (Cornell University)|Aug 21, 2015

Advanced Bandit Algorithms Research参考文献 27被引用数 17

ひとこと要約

本稿は、オフセット複雑度測度と片側尾確率不等式を用いて、データ依存およびモデル選択レギュレーター境界を達成する、適応的オンライン学習の一般枠組みを導入する。適応的レートを達成するための十分条件を確立し、分位数、2次、小損失境界といった既存の境界を回復・改善するとともに、オンライン線形最適化のための新しいスペクトルノルムに基づく境界と、可算無限集合に対するオンラインPAC-Bayes定理を導出する。

ABSTRACT

We propose a general framework for studying adaptive regret bounds in the online learning framework, including model selection bounds and data-dependent bounds. Given a data- or model-dependent bound we ask, "Does there exist some algorithm achieving this bound?" We show that modifications to recently introduced sequential complexity measures can be used to answer this question by providing sufficient conditions under which adaptive rates can be achieved. In particular each adaptive rate induces a set of so-called offset complexity measures, and obtaining small upper bounds on these quantities is sufficient to demonstrate achievability. A cornerstone of our analysis technique is the use of one-sided tail inequalities to bound suprema of offset random processes. Our framework recovers and improves a wide variety of adaptive bounds including quantile bounds, second-order data-dependent bounds, and small loss bounds. In addition we derive a new type of adaptive bound for online linear optimization based on the spectral norm, as well as a new online PAC-Bayes theorem that holds for countably infinite sets.

研究の動機と目的

• データ依存およびモデル選択（オラクル型）境界を扱う、オンライン学習における適応的レギュレーター境界を達成する一般枠組みの開発を目的とする。
• 特に統計的学習とは対照的に、オンライン学習における適応的レートを達成するための理論的ツールの不足に取り組む。
• 適応的レギュレーター境界が達成可能であるための十分条件を、変更された逐次的複雑度測度を用いて同定する。
• 分位数、2次、小損失境界といった既存の適応的境界を、共通の分析枠組みを通じて統一的かつ改善的に回復する。
• オンライン線形最適化やPACベイジアン設定に対して、新しい結果を導出する。特に、スペクトルノルムに基づく境界と、可算無限集合に対するオンラインPAC-Bayes定理を含む。

提案手法

• 適応的レギュレーター率から導出されるオフセット複雑度測度を導入し、これらの測度の上界が小さいことで、対応する適応的レートが達成可能であることを示す。
• 逐次的設定における集中不等式の代わりに、オフセット確率過程の上界を評価するために片側尾確率不等式を用いる。
• 逐次的ラデマッハ複雑度をベースラインとし、モデルの複雑さとデータ依存性を考慮するオフセット過程を用いて拡張する。
• 損失関数が一般形から内積形まで多様な形をとる状況において、教師あり学習およびオンライン線形最適化の両方に適用可能である。
• 罰則が経験過程の変動よりも「わずかに大きい」べきであるという考えを、オンライン逐次的設定に適応する。
• レギュレーターの再帰的分解を用い、依存関係を分離するために補助変数（例：ε, y′, y′′）を導入し、期待値の上界を適用する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習におけるデータ依存性またはモデルの複雑さに依存する適応的レギュレーター境界を達成する一般枠組みを構築することは可能か？
• RQ2 与えられた適応的レギュレーター境界がオンライン学習設定で達成可能であるための十分条件は何か？
• RQ3 有界差分不等式が失敗する逐次的設定において、片側尾確率不等式を用いて集中不等式を置き換える方法は何か？
• RQ4 分位数、2次、小損失境界といった既存の適応的境界を、統一された枠組み内で回復・改善することは可能か？
• RQ5 この枠組みを用いて、特にオンライン線形最適化やPACベイジアン設定において、どのような新しい適応的境界を導出できるか？

主な発見

• オフセット複雑度測度の上界が小さいことで、適応的レギュレーター境界が達成可能であるための十分条件を提供する。この測度は、目的の適応的レートから導出される。
• 分位数境界、2次データ依存境界、小損失境界といった既知の適応的境界を、統一的分析により回復・改善する。
• 損失系列のスペクトルノルムに基づく新しい適応的境界を、オンライン線形最適化に対して導出する。構造的設定においてより緊密な制御を可能にする。
• 可算無限の仮説クラスに対して成立するオンラインPAC-Bayes定理を確立し、PACベイジアン理論のオンライン学習への適用範囲を拡張する。
• 片側尾確率不等式の使用により、逐次的設定におけるオフセット過程の上界の分析が可能となり、標準的な集中不等式の失敗を回避する。
• 統計的学習における「変動よりわずかに大きい罰則」の原則が、オフセット過程と片側上界を用いることで、オンライン学習に適応可能であることを示す。