[論文レビュー] Online Learning Without Prior Information

Ashok Cutkosky, Kwabena Boahen|arXiv (Cornell University)|Mar 7, 2017

Advanced Bandit Algorithms Research参考文献 5被引用数 12

ひとこと要約

本論文は、勾配の成長や最適パラメータノルムの上限を事前に知らない状況下でも適応可能なオンライン学習アルゴリズムの族を導入する。$\tfrac{1}{2}$ に関連する新たな下界のフロンティアを確立することで、上界と一致する性能を達成し、長年の適応的オンライン最適化の課題を解決する。

ABSTRACT

The vast majority of optimization and online learning algorithms today require some prior information about the data (often in the form of bounds on gradients or on the optimal parameter value). When this information is not available, these algorithms require laborious manual tuning of various hyperparameters, motivating the search for algorithms that can adapt to the data with no prior information. We describe a frontier of new lower bounds on the performance of such algorithms, reflecting a tradeoff between a term that depends on the optimal parameter value and a term that depends on the gradients' rate of growth. Further, we construct a family of algorithms whose performance matches any desired point on this frontier, which no previous algorithm reaches.

研究の動機と目的

• 勾配や最適パラメータ値の境界に関する事前情報が一切ない状況下でのオンライン学習における理論的保証の欠如に対処すること。
• 未知のデータ特性のため、ハイパーパrameterの手動チューニングを必要とする従来のアルゴリズムの限界を克服すること。
• 未知の勾配成長と最適パラメータノルムに適応可能な、オンライン学習の原理的フレームワークを構築すること。
• $T$ における対数的項と勾配成長に対する指数的ペナルティの間でトレードオフを生じる、レジーットの理論的下界のタイトなフロンティアを確立すること。
• この理論的フロンティア上の任意の点と一致するレジーットを達成するアルゴリズム族を構築し、事前仮定なしに最適な性能を実現すること。

提案手法

• 勾配のノルム $\|u\|L_{\max}\sqrt{T}\log(\|u\|T)$ に依存する項と、指数的ペナルティ $\exp(\max_t \sqrt{L_t/L_{t-1}})$ を強制する悪意ある損失系列を構築することで、レジーットの新たな下界を導出する。
• パrameter $k$ と $\gamma$ を用いたパラメータ化されたフロンティアを導入し、トレードオフを制御する：指数的ペナルティを $k$ 倍小さくすると、$\sqrt{T}$ 項は $k$ 倍に増加し、対数的べき乗を $\gamma$ で小さくすると、指数的ペナルティは $\exp((L_t/L_{t-1})^{1/(2\gamma-1)})$ に増加する。
• 観測された勾配に基づいて学習率を動的に調整する、適応的オンラインアルゴリズムの族を提案し、任意の $k$ および $\gamma$ に対して、導出された下界フロンティアと一致するレジーットを達成する。
• オンライン凸最適化を、損失を部分勾配を用いて線形化することでオンライン線形最適化に還元する。これにより、線形レジーットの境界を用いた解析が可能になる。
• 累積勾配ノルムに関する再帰的境界と適応的ステップサイズを用いる、革新的な解析技術を適用し、双対ノルムと部分勾配の性質を活用して、レジーットの成長を制御する。
• 不等式と数学的帰納法を用いて、適応的学習率係数で重み付けされた勾配の二乗和をバウンドし、レジーットが導出されたフロンティア内に保たれることを証明する。

実験結果

リサーチクエスチョン

• RQ1 勾配や最適パラメータの境界に関する事前情報がない状況下で、オンライン学習におけるレジーットの根本的限界は何か？
• RQ2 複数の未知のデータ挙動（勾配成長やパラメータノルムの変動）をカバーできる、1つのアルゴリズムが最適なレジーットを達成できるか？
• RQ3 事前境界が存在しない状況下で、$T$ における対数的項と勾配成長に対する指数的ペナルティの間にはどのようなトレードオフがあるか？
• RQ4 手動チューニングを必要とせず、理論的レジーットフロンティア上の任意の点と一致するアルゴリズム族を構築することは可能か？
• RQ5 直径の境界がない無限次元ヒルバート空間へのオンライン学習レジーットの解析をどのように拡張できるか？

主な発見

• 本論文は、$\|u\|L_{\max}\sqrt{T}\log(\|u\|T)$ と $\exp(\max_t \sqrt{L_t/L_{t-1}})$ の間でトレードオフを生じる、レジーットの新たな下界フロンティアを確立し、CutkoskyとBoahen（2016）の先行研究の指数的ペナルティを改善する。
• 任意の $k > 0$ に対して、指数的ペナルティを $\exp((L_t/L_{t-1})/k^2)$ にまで低減可能であり、その代償として $\sqrt{T}$ 項が $k$ 倍に拡大される。これにより滑らかなトレードオフが実現される。
• 任意の $\gamma \in (1/2, 1]$ に対して、$\sqrt{T}$ 項における対数的べき乗を $\log^\gamma(\|u\|T)$ にまで低減可能であり、その代償として指数的ペナルティは $\exp((L_t/L_{t-1})^{1/(2\gamma-1)})$ に増加する。これにより柔軟な適応が可能になる。
• 提案されたアルゴリズム族は、このフロンティア上の任意の点と一致するレジーットを達成しており、下界がタイトであり、したがって最適であることを示している。
• 解析により、データの成長パターンを完全に把握している場合でさえも、導出されたフロンティアを上回るレジーットを達成できるアルゴリズムは存在しないことが証明され、トレードオフの最適性が確認された。