[論文レビュー] Temporal Variability in Implicit Online Learning

Nicolò Campolongo, Francesco Orabona|arXiv (Cornell University)|Jun 12, 2020

Advanced Bandit Algorithms Research参考文献 35被引用数 4

ひとこと要約

本稿では、損失関数の時間的変動が遅い場合に顕著に向上する、暗黙的オンライン学習アルゴリズムの新たなレジレット解析を導入する。AdaImplicitと呼ばれる適応的アルゴリズムを提案し、$V_T$（時間的変動性を測る指標）を前提知識とせず、$ mathcal{O}(V_T + 1)$のレジレットバウンドを達成する。また、このバウンドが最適であることを一致する下界により証明し、実世界のデータセットを用いた実験でも裏付けられている。

ABSTRACT

In the setting of online learning, Implicit algorithms turn out to be highly successful from a practical standpoint. However, the tightest regret analyses only show marginal improvements over Online Mirror Descent. In this work, we shed light on this behavior carrying out a careful regret analysis. We prove a novel static regret bound that depends on the temporal variability of the sequence of loss functions, a quantity which is often encountered when considering dynamic competitors. We show, for example, that the regret can be constant if the temporal variability is constant and the learning rate is tuned appropriately, without the need of smooth losses. Moreover, we present an adaptive algorithm that achieves this regret bound without prior knowledge of the temporal variability and prove a matching lower bound. Finally, we validate our theoretical findings on classification and regression datasets.

研究の動機と目的

• 暗黙的オンライン学習アルゴリズムが、理論的利点が限定的であるにもかかわらず実践的に勾配ベース手法を上回る理由を理解すること。
• 時間的変動性$V_T$が暗黙的アルゴリズムのレジレットバウンドに与える影響を分析すること。
• $V_T$の事前知識が不要な最適なレジレットを達成する適応的アルゴリズムを設計すること。
• 理論的知見を実世界の分類および回帰タスクにおいて検証すること。

提案手法

• 著者たちは、オンラインミラー降下（OMD）フレームワーク内での暗黙的アルゴリズムの洗練されたレジレット解析を実施する。
• 時間的変動性$V_T = \sum_{t=2}^T \max_{\mathbf{x} \in V} \ell_t(\mathbf{x}) - \ell_{t-1}(\mathbf{x})$に明示的に依存する新しい静的レジレットバウンドを導入する。
• 観測された損失変動に基づいて学習率を動的に調整することで、$ mathcal{O}(V_T + 1)$のレジレットを達成する、AdaImplicitと呼ばれる適応的アルゴリズムを提案する。
• Bregmanダイバージェンスを用いた暗黙的更新から導かれる閉形式の更新ルールを採用し、計算効率を確保する。
• 一致する下界を証明し、$ mathcal{O}(V_T + 1)$のレジレットバウンドが最悪ケースにおいて最適であることを示す。
• LIBSVMデータセットを用い、ヒンジ損失および絶対損失関数を用いて、アルゴリズム間の累積損失を比較する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 損失関数の時間的変動性によって、暗黙的オンライン学習アルゴリズムの実践的成功が理論的に説明可能か？
• RQ2 暗黙的アルゴリズムのレジレットは、$ sqrt{T}$ ではなく、損失系列の時間的変動性$V_T$ に比例するか？
• RQ3 $V_T$の事前知識が不要な適応的アルゴリズムが、$ mathcal{O}(V_T + 1)$のレジレットを達成可能か？
• RQ4 $ mathcal{O}(V_T + 1)$のレジレットバウンドは最適であり、下界によって一致可能か？
• RQ5 AdaImplicitは、OGDおよびIOMDと比較して、実世界のオンライン学習タスクにおけるロバスト性とパフォーマンスで優れているか？

主な発見

• 本稿では、損失系列の時間的変動性$V_T$に明示的に依存する、暗黙的オンライン学習の新たな静的レジレットバウンドを確立した。
• $V_T$ が定数であり、適切に学習率を調整すれば、滑らかでない損失関数であっても、レジレットが定数に抑えられることを示した。
• AdaImplicitは、$V_T$の事前知識が不要であり、データの内在的変動性に適応する。その結果、$ mathcal{O}(V_T + 1)$のレジレットバウンドを達成した。
• 著者たちは一致する下界を証明し、$ mathcal{O}(V_T + 1)$のレジレットバウンドが最悪ケースにおいて最適であることを確認した。
• 実世界のデータセットにおける実験結果から、AdaImplicitは低く抑えられた累積損失を維持し、OGDおよびIOMDと比較してハイパーパrameterの選択に頑健であることが示された。
• 暗黙的アルゴリズムは、その内在的な安定性のおかげで、オンライン環境下、特に学習率の誤設定下でも優れたロバスト性を示した。