[論文レビュー] Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity

Dan Garber|arXiv (Cornell University)|Feb 13, 2018

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

この論文は、可能集合が凸多面体である場合、オンライン勾配降下法（OGD）が、線形変換と合成された際に強い凸性を示すが、全体としては強く凸でない広範な非強く凸損失関数クラスに対して対数的レジットを達成することを確立している。ホフマンの不等式を用いて二次的成長を導出し、逆ステップ数に比例する学習率を用いることで、OGDが $\mathcal{O}(\log T)$ レジットを保証することを示した。これは、計算コストが低く、ONS（オンラインニュートンステップ）の二次的コストを犠牲にせず、収束速度を維持する代替手法を提供する。

ABSTRACT

Hoffman's classical result gives a bound on the distance of a point from a convex and compact polytope in terms of the magnitude of violation of the constraints. Recently, several results showed that Hoffman's bound can be used to derive strongly-convex-like rates for first-order methods for extit{offline} convex optimization of curved, though not strongly convex, functions, over polyhedral sets. In this work, we use this classical result for the first time to obtain faster rates for extit{online convex optimization} over polyhedral sets with curved convex, though not strongly convex, loss functions. We show that under several reasonable assumptions on the data, the standard extit{Online Gradient Descent} algorithm guarantees logarithmic regret. To the best of our knowledge, the only previous algorithm to achieve logarithmic regret in the considered settings is the extit{Online Newton Step} algorithm which requires quadratic (in the dimension) memory and at least quadratic runtime per iteration, which greatly limits its applicability to large-scale problems. In particular, our results hold for extit{semi-adversarial} settings in which the data is a combination of an arbitrary (adversarial) sequence and a stochastic sequence, which might provide reasonable approximation for many real-world sequences, or under a natural assumption that the data is low-rank. We demonstrate via experiments that the regret of OGD is indeed comparable to that of ONS (and even far better) on curved though not strongly-convex losses.

研究の動機と目的

• 非強く凸な設定におけるOGDとONSのレジット性能のギャップを埋めること。
• OGDが強く凸でない場合でも、対数的レジットを達成できる条件を同定すること。
• 各反復で二次的メモリと実行時間が必要なONSの計算効率の良い代替手法を提供すること。
• 古典的凸解析の道具を用いて、強く凸でない場合のオンライン凸最適化における高速収束の拡張を図ること。
• 損失関数における線形変換の整合性条件を形式化し、OGDによる高速収束を可能にするものとする。

提案手法

• ホフマンの古典的不等式を用いて、制約違反と多面体からの距離を関連づけ、可能集合内での二次的成長を可能にする。
• 関数 $ g({\mathbf{C}}_t {\mathbf{x}}) $ の形をとる損失関数に不等式を適用し、$ g $ が強く凸で、$ {\mathbf{C}}_t $ が線形変換であることを仮定する。
• ホフマンの不等式から二次的成長性を導出し、オンライン最適化における収束速度の向上を可能にする。
• 学習率 $ \eta_t = \frac{1}{\sigma t} $ を導入し、ここで $ \sigma $ は平均グラム行列 $ \frac{1}{T}\sum_t {\mathbf{C}}_t^\top {\mathbf{C}}_t $ のホフマン定数である。
• 半悪意的および確率的設定下でのレジットを分析し、$ {\mathbf{C}}_t $ に整合性条件が満たされれば対数的レジットを証明する。
• LASSO、MNIST、CIFAR10 における ONS と比較して OGD の性能を実験的に検証し、$ \ell_1 $-ボール制約を用いる。

実験結果

リサーチクエスチョン

• RQ1 損失関数が強く凸でないが、部分空間上で強く凸である場合、OGD は対数的レジットを達成できるか？
• RQ2 $ f_t({\mathbf{x}}) = g({\mathbf{C}}_t {\mathbf{x}}) $ の線形変換 $ {\mathbf{C}}_t $ にどのような条件が満たされれば、OGD が $ \mathcal{O}(\log T) $ レジットを保証するか？
• RQ3 ホフマンの不等式を用いて、オフライン設定を超えたオンライン凸最適化における高速収束を導出可能か？
• RQ4 OGD は、反復ごとに線形時間の計算コストを維持しながら、ONS と同等のレジット性能を達成できるか？
• RQ5 半悪意的および低ランクデータの仮定は、OGD のレジットにどのような影響を及えるか？

主な発見

• 損失関数が線形変換と合成された際に強く凸である場合、OGD は全体として強く凸でなくても $ \mathcal{O}(\log T) $ レジットを達成する。
• レジットバウンドは $ \frac{\alpha_1 \alpha_2 \sigma D^2}{2} + \frac{\bar{G}^2}{2\alpha_1 \alpha_2 \sigma}(1 + \ln T) $ であり、ここで $ \sigma $ は平均グラム行列のホフマン定数である。
• 半悪意的設定下でも、データが任意成分と確率的成分を組み合わせており、確率的成分が共分散の整合性条件を満たしていれば、本手法は有効である。
• 低ランクデータの場合、レジットバウンドは依然として対数的であり、LASSO、MNIST、CIFAR10 における実験で OGD は ONS を上回る性能を示した。
• 実験結果から、OGD の平均損失は ONS と同等またはそれ以上に収束することが示され、OGD の反復ごとの計算コストが線形であるのに対し、ONS は二次的であることを踏まえると、特に大規模問題に適したスケーラブルな代替手法であることが明らかになった。
• 非ユークリッド的射影や行列逆行列計算を回避することで、本手法は大規模問題に適した、ONS の代替手段を提供する。