[論文レビュー] Online Adaptive Methods, Universality and Acceleration

Kfir Y. Levy, Alp Yurtsever+1 more|arXiv (Cornell University)|Sep 8, 2018

Stochastic Gradient Optimization Techniques被引用数 27

ひとこと要約

本稿では、滑らかさやノイズレベルの事前知識が不要な、オンラインで適応的かつ加速型の最適化手法AcceleGradを提案する。この手法は、滑らかな目的関数における加速収束、滑らかでない目的関数における標準的収束、および確率的設定におけるロバストな性能を統合的に達成する。重要度重み付けによる適応的学習率と線形結合された二重列更新則を組み合わせることで、滑らかな場合に$\mathcal{O}(1/T^2)$の加速収束率を達成し、一般の場合には$\mathcal{O}(1/\sqrt{T})$を達成する。また、加速を伴うAdaGradの普遍性に関する初の結果を確立する。

ABSTRACT

We present a novel method for convex unconstrained optimization that, without any modifications, ensures: (i) accelerated convergence rate for smooth objectives, (ii) standard convergence rate in the general (non-smooth) setting, and (iii) standard convergence rate in the stochastic optimization setting. To the best of our knowledge, this is the first method that simultaneously applies to all of the above settings. At the heart of our method is an adaptive learning rate rule that employs importance weights, in the spirit of adaptive online learning algorithms (Duchi et al., 2011; Levy, 2017), combined with an update that linearly couples two sequences, in the spirit of (Allen-Zhu and Orecchia, 2017). An empirical examination of our method demonstrates its applicability to the above mentioned scenarios and corroborates our theoretical findings.

研究の動機と目的

• 滑らかな凸最適化設定において加速収束を達成する単一の最適化手法を開発すること。
• 最適化におけるノイズや未知の滑らかさに対する加速と適応性を統合するという長年の課題を解決すること。
• 滑らかな目的関数における確率的設定においてAdaGradの普遍性を確立すること。これは、既知のノイズへのロバストネスを拡張するものである。
• 適応的オンライン学習（例：AdaGrad）と加速勾配法（例：Nesterov）の2つの主要な枠組みを、ラインサーチや事前パラメータチューニングを必要とせずに統合すること。

提案手法

• 本手法は、オンライン学習における重要度重み付け（Duchiら, 2011; Levy, 2017）にインspiredされた適応的学習率ルールを採用し、履歴勾配に基づいて動的にステップサイズを調整する。
• Allen-ZhuとOrecchia（2017）のフレームワークに従い、二重の列の間で線形結合を導入することで、モーメンタムに類似した加速を実現する。
• 滑らかさやノイズ分散の事前知識が不要であるように設計されており、異なる最適化領域にわたる普遍性を有する。
• 更新則は、適応的ステップサイズとモーメンタム成分を統合し、探索と収束速度のバランスを取る。
• 投影誤差に対してロバストであり、制約なし設定においても投影ステップを省略しても良好な性能を発揮する。
• 実験的検証では、合成データおよび実世界のデータセット（例：RCV1）を用い、ミニバッチサイズを変化させた状況下で、AcceleGradとAdaGrad、および普遍的手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさの事前知識がなくても、単一の最適化アルゴリズムが滑らかな凸最適化で加速収束を達成できるか？
• RQ2 AdaGradのような適応的手法が、滑らかさの情報が明示的に与えられていない状況でも、加速収束率を達成できるか？
• RQ3 滑らかでない、滑らかな、確率的設定を同時に最適な収束率で処理できる普遍的最適化手法を設計することは可能か？
• RQ4 分散環境や大規模設定におけるミニバッチサイズの増加に伴い、適応的加速手法の性能はどのようにスケーリングするか？

主な発見

• AcceleGradは、滑らかな凸目的関数に対して$\mathcal{O}(1/T^2)$の加速収束率を達成し、滑らかでない一般の凸目的関数に対しては$\tilde{\mathcal{O}}(1/\sqrt{T})$の収束率を達成するが、滑らかさの知識は不要である。
• 確率的設定において、AcceleGradは変更なしに$\tilde{\mathcal{O}}(1/\sqrt{T})$の収束率を保証し、確率的サブ勾配法の標準的収束率と一致する。
• 本稿では、期待損失が滑らかな場合にAdaGradが$\mathcal{O}(1/T + \sigma/\sqrt{T})$の収束率を達成することを確立し、滑らかな目的関数における確率的設定での普遍性（加速なし）を示した。
• 実験的結果では、高精度が求められる大規模ミニバッチ環境において、AcceleGradがAdaGradを上回る性能を発揮する。これは、バッチサイズ$ b $の増加に伴い、AcceleGradの収束率が$\mathcal{O}(b^2/S^2)$に近づくのに対し、AdaGradの収束率が$\mathcal{O}(b/S)$に劣化することによる。
• 投影ステップを省略しても本手法は有効であり、一部のケースでは投影を省略することで性能がわずかに向上する。
• RCV1データセットにおけるロジスティック回帰およびSVMタスクにおいて、AcceleGradはミニバッチサイズの増加に伴い性能を維持または向上させるが、AdaGradは$ b=1000 $を超えると劣化する。