[論文レビュー] A Local Regret in Nonconvex Online Learning

Sergül Aydöre, Lee H. Dicker+1 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Bandit Algorithms Research参考文献 5被引用数 3

ひとこと要約

本稿は、非凸オンライン学習における新しい局所的レグレット定義を導入し、キャリブレーションと最近の勾配に注目する。Hazanの手法とは異なり、即時の予測性能に焦点を当てている。特定の条件下で対数的レグレットバウンドを証明し、非凸損失関数を伴う予測モデルにおける解釈可能性と理論的根拠を強化する、より解釈可能な指標を提供する。

ABSTRACT

We consider an online learning process to forecast a sequence of outcomes for nonconvex models. A typical measure to evaluate online learning algorithms is regret but such standard definition of regret is intractable for nonconvex models even in offline settings. Hence, gradient based definition of regrets are common for both offline and online nonconvex problems. Recently, a notion of local gradient based regret was introduced. Inspired by the concept of calibration and a local gradient based regret, we introduce another definition of regret and we discuss why our definition is more interpretable for forecasting problems. We also provide bound analysis for our regret under certain assumptions.

研究の動機と目的

• 非凸オンライン学習におけるグローバルレグレットの計算困難性に対処するために、より解釈可能な局所的レグレット測度を提案すること。
• 非凸予測問題におけるレグレット解析にキャリブレーションの概念を統合すること。
• オンライン学習における標準的な仮定の下で、提案されたレグレットの理論的バウンドを提供すること。
• この新しいレグレット定義を最小化する効率的なアルゴリズムの開発を促進すること。

提案手法

• 勾配方向と方向的摂動の内積に基づくw-局所的レグレットを提案し、局所的予測安定性を捉える。
• レグレットを、サイズwのスライディングウインドウ内での方向的勾配積の平均のノルムの二乗として定義する。
• テイラー近似と射影作用素を用いて、パラメータ空間における摂動をモデル化し、凸領域K内での妥当性を保証する。
• 収束を保証し、レグレットバウンドを導出するために、減少する学習率ηt = η/√tを用いた勾配降下法を適用する。
• 勾配ノルム、ステップサイズ、リプシッツ定数を含む不等式を用いて理論的バウンドを導出する。
• 3つのシナリオを分析する：固定ウインドウと定数学習率、減少学習率と全履歴ウインドウ、減少学習率と固定ウインドウ。

実験結果

リサーチクエスチョン

• RQ1 非凸オンライン学習、特に予測文脈において、より解釈可能なレグレット測度をどのように定義できるか？
• RQ2 提案されたレグレットは、Hazanの勾配に基づく局所的レグレットと比較して、解釈可能性と現在の性能への注目度においてどのように改善されるか？
• RQ3 提案されたレグレットが時間Tに関して非線形的または対数的成長を示す条件は何か？
• RQ4 キャリブレーションの概念の統合が、レグレット測度の理論的性質にどのように影響を与えるか？

主な発見

• 減少する学習率（ηt = η/√t）と全履歴ウインドウ（w = t）を用いる場合、提案されたレグレットはO(log T)の対数的バウンドを達成する。
• 固定ウインドウサイズwと減少学習率を用いる場合、レグレットはTに関して2次的に増加するが、wを増加させることで非線形的になるようにできる。
• 定数学習率と固定ウインドウを用いる場合、レグレットはO(T / w²)で有界であり、wがTとともに増加する場合に非線形的になる。
• 理論的分析により、内積項∑⟨Du(xs), ∇fs(xs)⟩がM、G、ηを含む負の表現で下から有界であることが示され、これによりレグレットバウンドの導出が可能になる。
• バウンドの導出は、累積勾配に一致する最適な方向uの選択に依存しており、これによりレグレット式のきびしい制御が可能になる。
• 本稿では、この新しいレグレットを最小化するアルゴリズムが、非凸オンライン予測に適したより効率的で適したものであると仮説を立てている。