[論文レビュー] Online Convex Optimization with Unconstrained Domains and Losses

Ashok Cutkosky, Kwabena Boahen|arXiv (Cornell University)|Mar 7, 2017

Advanced Bandit Algorithms Research被引用数 11

ひとこと要約

この論文は、損失関数の境界に関する事前知識がなくても、非有界ドメインで最適なレグレットを達成するオンライン凸最適化アルゴリズムrescaledexpを導入する。新たに証明された下界と一致し、COLT 2016の未解決問題を解決する。$\tilde{O}(\|u\|\log\|u\|)\sqrt{T}$のレグレットを達成するハイパーパrameterフリーな手法であり、$L_{\max}$の知識を必要とする従来手法を上回る性能を発揮する。

ABSTRACT

We propose an online convex optimization algorithm (RescaledExp) that achieves optimal regret in the unconstrained setting without prior knowledge of any bounds on the loss functions. We prove a lower bound showing an exponential separation between the regret of existing algorithms that require a known bound on the loss functions and any algorithm that does not require such knowledge. RescaledExp matches this lower bound asymptotically in the number of iterations. RescaledExp is naturally hyperparameter-free and we demonstrate empirically that it matches prior optimization algorithms that require hyperparameter optimization.

研究の動機と目的

• 最大部分勾配ノルム $L_{\max}$ の事前知識なしに、非有界オンライン凸最適化で最適なレグレットを達成するという未解決問題に取り組む。
• 任意の $L_{\max}$ の知識なしのアルゴリズムが、$L_{\max}$ を既知としているアルゴリズムと比べて指数的に悪いレグレットを被る必要があることを示す下界を証明する。
• この下界に漸近的に一致するアルゴリズムを設計し、$L_{\max}$ を必要とせずに $\tilde{O}(\|u\|\log\|u\|)\sqrt{T}$ のレグレットを達成する。
• 線形およびニューラルネットワークタスクにおいて、調整済みのアルゴリズムと同等の性能を示す実験的妥当性を検証する。

提案手法

• FTRLに基づくアルゴリズムであるrescaledexpを提案。勾配ノルムの累積推定値と自己調整型学習率を用いて、更新を動的にスケーリングする。
• 新しい適応的学習率 $\eta_t \propto 1/\sqrt{M_t + \|g_{t_{\star}:t}\|^2}$ を使用。ここで $M_t$ は正規化された勾配ノルム項の最大値を追跡する。
• 非凸設定では、各エポックの開始時に基準点をリセットする再センター化機構を採用し、性能を維持する。
• スパース勾配に対しては座標ごとの更新戦略を適用し、非凸モデルでは不安定化を避けるために全次元更新を用いる。
• 倍増テクニックの変種を実装。勾配が現在の境界を超えた場合にのみスケールをリセットし、境界違反による失敗を回避する。
• 各データセットにおける各アルゴリズムの最良チューニング性能に対する相対スコアとして、データセット全体で損失を正規化平均化し、公平な性能比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 オンライン凸最適化アルゴリズムは、$L_{\max}$ の事前知識なしに、非有界設定で $\tilde{O}(\|u\|\log\|u\|)\sqrt{T}$ のレグレットを達成できるか？
• RQ2 知られている $L_{\max}$ と知らないアルゴリズムの間で、レグレットに指数的差が生じるか？
• RQ3 ハイパーパrameterフリーなアルゴリズムは、実際のチューニング済みアルゴリズムと同等の性能を達成できるか？
• RQ4 座標ごとの更新は、スパース勾配問題の性能向上に寄与するか？
• RQ5 データセット全体での正規化損失の観点から、rescaledexpはAdam や AdaGrad といった最先端の適応的最適化手法と比べてどうか？

主な発見

• 論文は、$L_{\max}$ の事前知識なしの任意のアルゴリズムが、少なくとも $\exp\left(\left(\max_t \frac{\|g_t\|}{L(t)}\right)^{1/2 - \epsilon}\right)$ のレグレットを被らざるを得ない下界を証明し、理想の $\tilde{O}(\|u\|\sqrt{\log\|u\|})\sqrt{T}$ 界は不可能であることを示した。
• rescaledexpはこの下界に漸近的に一致し、$L_{\max}$ を必要とせずに $\tilde{O}(\|u\|\log\|u\|)\sqrt{T}$ のレグレットを達成した。
• 実験的結果では、rescaledexpはデータセット全体で平均正規化損失1.19を達成し、AdaDelta（1.21）とAdam（1.51）を上回り、チューニング済みAdaGrad（1.14）にほぼ並ぶ性能を示した。
• ニューラルネットワークタスクでは、非凸性と一貫しないリセットのため、座標ごとの更新では性能が著しく低下するが、全次元更新では優れた性能を発揮した。
• 再センター化されたバージョンのrescaledexpは、$\|w_\star - u\| \leq \|u\|$ の条件下では、元のアルゴリズムと同等のレグレット界を維持するが、敵対的勾配に対しては保証されない。
• 本研究は、rescaledexpがハイパーパrameterフリーであり、チューニング済みアルゴリズムと同等に性能を発揮することを示し、実務家にとって強力なデフォルト選択肢であることを示した。