[論文レビュー] Accelerating Optimization via Adaptive Prediction

Mehryar Mohri, Scott Cheng‐Hsin Yang|arXiv (Cornell University)|Sep 18, 2015

Advanced Bandit Algorithms Research参考文献 20被引用数 4

ひとこと要約

本稿は、適応的正則化、予測的勾配予測、問題依存の確率的選択を統合することで、よりタイトなレグレットバウンドを達成するオンライン凸最適化の統一フレームワークを提案する。データに依存する更新と予測勾配を活用することで、非i.i.d.またはゆっくり変化する状況において、従来の手法を著しく上回る性能を発揮し、理論的保証においても、最悪ケースと有利な状況の両方で最先端の手法を上回る。

ABSTRACT

We present a powerful general framework for designing data-dependent optimization algorithms, building upon and unifying recent techniques in adaptive regularization, optimistic gradient predictions, and problem-dependent randomization. We first present a series of new regret guarantees that hold at any time and under very minimal assumptions, and then show how different relaxations recover existing algorithms, both basic as well as more recent sophisticated ones. Finally, we show how combining adaptivity, optimism, and problem-dependent randomization can guide the design of algorithms that benefit from more favorable guarantees than recent state-of-the-art methods.

研究の動機と目的

• オンライン凸最適化のための、適応的正則化、予測的勾配予測、問題依存の確率的選択を統合したフレームワークの構築。
• 勾配および損失関数のデータに依存する性質を活用することで、既存手法よりもタイトなレグレットバウンドを導出すること。
• 確率的およびミニバッチ設定へのフレームワークの拡張、特に正則化された経験的リスク最小化への適用。
• 適応性、予測的アプローチ、非一様サンプリングの組み合わせが、標準的手法に比べて優れた理論的保証をもたらすことを示すこと。

提案手法

• 予測勾配と適応的正則化を統合した一般化された適応的・予測的フォローザレギュライズドリーダー（AO-FTRL）アルゴリズムの提案。
• 時間変動する正則化子を用いたBregman発散を活用し、損失関数の幾何構造に適応する。
• 累積予測誤差に基づく新しい適応的正則化項の導入：$ r_{0:t}(x) = \sum_{i=1}^{n} \sum_{s=1}^{t} \frac{\Delta_{s,i} - \Delta_{s-1,i}}{2R_i} (x_i - x_{s,i})^2 $。
• 問題依存のサンプリング分布を用いて分散を低減し、ERM設定における勾配推定では $ p_{t,j} \propto L_j $ を採用。
• ミニバッチおよびエポックベースの設定への適用を含め、SVRGに類似した変種を含むフレームワークの拡張。
• 双対ノルムと自己調和関数を用いてレグレットバウンドを導出。勾配変動への依存性が改善されていることを示す。

実験結果

リサーチクエスチョン

• RQ1 適応的正則化と予測的勾配予測を、オンライン凸最適化におけるレグレットバウンドの改善を図る統一フレームワークに統合できるか？
• RQ2 確率的最適化において、一様サンプリングを超える性能向上を問題依存の確率的選択がどのように実現するか？
• RQ3 適応的正則化、予測的アプローチ、非一様サンプリングの組み合わせが、レグレット保証に与える理論的影響は何か？
• RQ4 Adagrad や FTRL といった既存の最先端手法よりも、最悪ケースと有利な状況の両方で、より良いバウンドを達成できるか？
• RQ5 ミニバッチおよびエポックベースのアルゴリズム変種が、確率的ERM問題における収束性とレグレットに与える影響は何か？

主な発見

• 提案されたAO-FTRLアルゴリズムは、$ \mathbb{E}[\text{Regret}] \leq 2\sqrt{T} \left( \sum_{i=1}^{k} (S_i L_i)^{2/3} \right)^{3/2} $ の形のレグレットバウンドを達成し、有利な状況下では標準的なAdaGradよりもタイトである。
• 確率的正則化されたERM問題において、アルゴリズムは最悪ケースのレグレットバウンド $ 8 \sum_{i=1}^{n} R_i \sqrt{T \left( \sum_{j=1}^{m} L_j \right)^2} $ を達成し、単純な一様サンプリングに比べて改善している。
• 過去の勾配に基づく勾配予測 $ \tilde{g}_{t+1} $ を用いることで、レグレット項が $ \|g_t - \tilde{g}_t\|_{\nabla^2 \mathcal{R}(x_t),*} $ に比例し、予測が正確な場合には性能向上が可能になる。
• 適応性と予測的アプローチを組み合わせることで、既存手法よりも優れた事後レグレットバウンドを達成し、正則化と予測誤差の明示的制御が可能になる。
• ミニバッチおよびエポックベースの変種は、勾配が有界でかつ非一様サンプリングが行われる場合には、分散制御とよりタイトなバウンドを実現する。
• 理論的保証により、問題依存のサンプリング分布が、構造的またはスパースな設定において一様サンプリングに比べて顕著な改善をもたらす可能性があることが示された。