[論文レビュー] One Sample Stochastic Frank-Wolfe

Mingrui Zhang, Zebang Shen+3 more|arXiv (Cornell University)|Oct 10, 2019

Stochastic Gradient Optimization Techniques参考文献 42被引用数 11

ひとこと要約

本稿では、一様な不偏モーメンタム推定器を活用することで、バッチサイズや学習率のチューニングが不要でありながらも安定性と効率性を維持する、最初の1サンプル stochastic Frank-Wolfeアルゴリズムである1-SFWを提案する。この手法は、凸問題に対して$Ó(1/ au^2)$、非凸問題に対して$Ó(1/ au^3)$の最適収束レートを達成する。

ABSTRACT

One of the beauties of the projected gradient descent method lies in its rather simple mechanism and yet stable behavior with inexact, stochastic gradients, which has led to its wide-spread use in many machine learning applications. However, once we replace the projection operator with a simpler linear program, as is done in the Frank-Wolfe method, both simplicity and stability take a serious hit. The aim of this paper is to bring them back without sacrificing the efficiency. In this paper, we propose the first one-sample stochastic Frank-Wolfe algorithm, called 1-SFW, that avoids the need to carefully tune the batch size, step size, learning rate, and other complicated hyper parameters. In particular, 1-SFW achieves the optimal convergence rate of $\mathcal{O}(1/ε^2)$ for reaching an $ε$-suboptimal solution in the stochastic convex setting, and a $(1-1/e)-ε$ approximate solution for a stochastic monotone DR-submodular maximization problem. Moreover, in a general non-convex setting, 1-SFW finds an $ε$-first-order stationary point after at most $\mathcal{O}(1/ε^3)$ iterations, achieving the current best known convergence rate. All of this is possible by designing a novel unbiased momentum estimator that governs the stability of the optimization process while using a single sample at each iteration.

研究の動機と目的

• 単一サンプル勾配における既存のstochastic Frank-Wolfe手法の不安定さと収束性の低さを解消する。
• 射影フリーなstochastic最適化における、サンプル効率性と収束速度のトレードオフを克服する。
• 1反復あたり1つのstochasticサンプルでのみ、最適な収束複雑度を達成する手法を開発する。
• データ分布が意思決定変数に依存する非無作為なstochastic設定においても、効率的な最適化を可能にする。
• ハイパーパrameterチューニング（例：バッチサイズ、学習率）なしに、凸、非凸、単調なDR-下位集合最適化の設定で最先端の収束レートを達成する。

提案手法

• 1反復あたり1つのサンプルでのみ勾配近似を安定化できる、新しい不偏モーメンタム推定器を提案する。
• 制約集合上での線形最小化に射影を置き換える、1サンプルstochastic Frank-Wolfeアルゴリズム（1-SFW）を設計する。
• バイアスのある勾配推定器に対しても収束を保証する再帰的平均化スキームを導入する。
• 非凸領域における収束と安定性のバランスを図るため、減少するステップサイズ$\eta_t = T^{-1}$を用いる。
• 目的関数および勾配の滑らかさと有界性の仮定を活用して、収束バウンドを導出する。
• 期待されるサブ最適性および勾配誤差のバウンドを求める分析において、Jensenの不等式およびコーシー＝シュワルツの不等式を適用する。

実験結果

リサーチクエスチョン

• RQ1 1反復あたり1つのサンプルでのみ、stochastic Frank-Wolfe手法が最適な収束レートを達成できるか？
• RQ2 大規模なミニバッチや分散低減技術に依存せずに、stochastic Frank-Wolfeの安定性を維持できるか？
• RQ3 データ分布が意思決定変数に依存する非無作為なstochastic設定において、提案手法が最適な複雑度を維持できるか？
• RQ4 非凸問題において、1つのサンプルでのみ、$\mathcal{O}(1/\epsilon^3)$の最良-knownレートを達成できるか？
• RQ5 バッチサイズ、学習率などのハイパーパrameterチューニングを完全に排除しながら、最適な収束を達成できるか？

主な発見

• 1-SFWは、stochastic凸最小化において$\mathcal{O}(1/\epsilon^2)$の収束レートを達成し、バッチ法の最適複雑度と一致する。
• 単調なDR-下位集合最適化の最大化において、1-SFWは$(1 - 1/e) - \epsilon$の近似を$\mathcal{O}(1/\epsilon^2)$のサンプル複雑度で達成する。
• 非凸設定では、1-SFWは$\mathcal{O}(1/\epsilon^3)$の反復回数で$\epsilon$-一次の静止点を特定し、最も良く知られたレートと一致する。
• アルゴリズムは1反復あたり1つのサンプルのみを用い、バッチサイズ、ステップサイズ、学習率のチューニングを回避する。
• 収束解析は、バイアスを制御し、安定性を保証する新しい不偏モーメンタム推定器に依存する。
• 本手法は、データ分布が意思決定変数に依存する非無作為なstochastic最適化に適用可能であり、強化学習や下位集合最適化への応用範囲を広げる。