[論文レビュー] Online Non-Convex Learning: Following the Perturbed Leader is Optimal

Arun Sai Suggala, Praneeth Netrapalli|arXiv (Cornell University)|Mar 19, 2019

Advanced Bandit Algorithms Research参考文献 14被引用数 7

ひとこと要約

本稿では、フォロー・ザ・パーテュurbed・リーダー（FTPL）アルゴリズムが、オフライン最適化オラクルを備えたオンライン非凸学習において、最適な $O(T^{-1/2})$ のレジーットレートを達成することを確立している。これは、以前の $O(T^{-1/3})$ の境界を上回る。さらに、予測可能な損失系列を活用する、FTPLのオプティミスティックな変種を導入し、構造的条件下でより優れたレジーット境界を達成している。

ABSTRACT

We study the problem of online learning with non-convex losses, where the learner has access to an offline optimization oracle. We show that the classical Follow the Perturbed Leader (FTPL) algorithm achieves optimal regret rate of $O(T^{-1/2})$ in this setting. This improves upon the previous best-known regret rate of $O(T^{-1/3})$ for FTPL. We further show that an optimistic variant of FTPL achieves better regret bounds when the sequence of losses encountered by the learner is `predictable'.

研究の動機と目的

• オンライン非凸学習における最良の既知のレジーットレートと理論的下界の間のギャップを埋めること。
• 古典的FTPLアルゴリズムが、リプシッツ連続な非凸損失関数とオフライン最適化オラクルへのアクセスがある条件下で、最適な $O(T^{-1/2})$ のレジーットレートを達成することを示すこと。
• 予測可能な損失系列を活用する、FTPLの拡張されたオプティミスティックな変種を導入し、構造的条件下でより優れたレジーット境界を達成すること。
• 非凸設定におけるFTPLの性能に与える摂動と近似誤差の役割を形式化し、分析すること。

提案手法

• 本稿では、誤差が有界な $(\alpha, \beta)$-近似オフライン最適化オラクルを用いて、標準的なFTPLアルゴリズムを分析している。このオラクルは、$f(\mathbf{x}) - \langle \sigma, \mathbf{x} \rangle$ の最小化器を返す。
• 独立な指数分布による摂動 $\sigma_t \sim \text{Exp}(\eta)$ を用いることで、行動選択における探索と安定性を確保している。
• 解析は、単調性および摂動感度に関する補題を用いて、連続する予測の差 $\|\mathbf{x}_t - \bar{\mathbf{x}}_{t+1}\|_1$ の $\ell_1$-ノルムを抑えている。
• 主な技術的ツールには、損失関数のリプシッツ連続性と、摂動ベクトルの変化と最小化器の変化との関係を結ぶ、新規の摂動ベースの議論が含まれる。
• 予測可能な損失に対しては、次回の損失の予測を組み込むことで意思決定プロセスを改善する、オプティミスティックFTPL（OFTPL）の変種が導入されている。
• 近似誤差 $\gamma(\sigma) = \alpha + \beta\|\sigma\|_1$ を考慮した、集中性の議論と再帰的不等式を用いて理論的境界が導出されている。

実験結果

リサーチクエスチョン

• RQ1 古典的FTPLアルゴリズムは、オフラインオラクルを備えたオンライン非凸学習において、最適な $O(T^{-1/2})$ のレジーットレートを達成できるか？
• RQ2 FTPLの性能は非凸損失下で劣化するが、摂動とオラクル設計を用いることでこれを緩和できるか？
• RQ3 損失系列に予測可能性や構造がある場合、レジーット境界をさらに改善できるか？
• RQ4 非凸設定におけるFTPLの収束性と安定性に与える近似誤差 $\alpha + \beta\|\sigma\|_1$ の役割は何か？

主な発見

• $(\alpha, \beta)$-近似オフライン最適化オラクルを用いることで、FTPLアルゴリズムは、非凸的かつ $L$-リプシッツ連続な損失関数に対して、最適なレジーットレート $O(T^{-1/2})$ を達成する。
• これは、同じ設定下でFTPLの以前の最良のレジーットレート $O(T^{-1/3})$ よりも優れており、理論的下界へのギャップを埋めている。
• 予測可能な損失系列に対しては、将来の損失情報を利用することで意思決定を改善する、オプティミスティックFTPL（OFTPL）の変種が、より優れたレジーット境界を達成する。
• 解析により、摂動による安定性と有界な近似誤差が、最適なレジーットレートへの収束を保証するのに十分であることが示された。
• 本稿では、最小化器の単調性および摂動感度の性質を用いて、連続する行動の差の $\ell_1$-ノルムがきわめて厳密に制御されることを証明している。