[論文レビュー] Adaptivity of averaged stochastic gradient descent to local strong convexity for logistic regression

Francis Bach|arXiv (Cornell University)|Mar 25, 2013

Stochastic Gradient Optimization Techniques参考文献 39被引用数 65

ひとこと要約

本稿では、ロジスティック回帰における平均化された確率的勾配降下法（ASGD）が、強凸性パラメータ $\mu$ を事前に知らなくても、局所的な強凸性に適応することを確立している。ステップサイズを $1/R^2\sqrt{N}$ のオーダーに固定した場合、$\mu > R^2/\sqrt{N}$ のとき、収束速度 $O(R^2/\mu N)$ を示しており、ロジスティック損失の自己共鳴性の性質によって未知の局所的曲率に適応していることを示している。

ABSTRACT

In this paper, we consider supervised learning problems such as logistic regression and study the stochastic gradient method with averaging, in the usual stochastic approximation setting where observations are used only once. We show that after $N$ iterations, with a constant step-size proportional to $1/R^2 \\sqrt{N}$ where $N$ is the number of observations and $R$ is the maximum norm of the observations, the convergence rate is always of order $O(1/\\sqrt{N})$, and improves to $O(R^2 / \\mu N)$ where $\\mu$ is the lowest eigenvalue of the Hessian at the global optimum (when this eigenvalue is greater than $R^2/\\sqrt{N}$). Since $\\mu$ does not need to be known in advance, this shows that averaged stochastic gradient is adaptive to \\emph{unknown local} strong convexity of the objective function. Our proof relies on the generalized self-concordance properties of the logistic loss and thus extends to all generalized linear models with uniformly bounded features.

研究の動機と目的

• 有限時間枠、定数ステップサイズ設定下でのロジスティック回帰における平均化された確率的勾配降下法（ASGD）の収束挙動を分析すること。
• 最適解におけるヘッセ行列の最小固有値 $\mu$ である局所的強凸性に、$\mu$ を事前に知らなくても適応できることを確立すること。
• 局所的強凸性が存在する場合に、$O(1/\sqrt{N})$ から $O(R^2/\mu N)$ に収束速度が改善されることを示し、指数的要因を導入せずに実現すること。
• 特徴量のノルムが有界であることと、ロジスティック損失の一般化された自己共鳴性を活用することで、グローバルな強凸性を超えた解析を拡張すること。

提案手法

• 特徴量の最大ノルム $R$ と観測数 $N$ に比例する定数ステップサイズ $1/R^2\sqrt{N}$ を使用する。
• 収束の安定性と速度を向上させるために、確率的勾配降下法の反復値に対して Polyak-Ruppert 平均化を適用する。
• ロジスティック損失の一般化された自己共鳴性の性質を用いて、高階モーメントを制御し、濃度バウンドを導出する。
• 時間にわたる指数的尾根バウンドと積分推定の組み合わせを用いて、期待二乗誤差 $\mathbb{E}\|\bar{\theta}_N - \theta_*\|^2$ のバウンドを導出する。
• 改善されたレートを保証するためのしきい値条件 $\mu\sqrt{N}/R \geq 500$ を導入し、それ以外の場合は標準的なレートにフォールバックする。
• 結果を定数ステップサイズから減少ステップサイズへ拡張するためにダブルイングトリックの議論を用いるが、主な解析は定数ステップサイズに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 局所的強凸性が存在するが、強凸性パラメータ $\mu$ を事前に知らない状況下でも、平均化された確率的勾配降下法がロジスティック回帰で改善された収束速度を達成できるか？
• RQ2 最適解におけるヘッセ行列の最小固有値 $\mu$ で測定されるロジスティック損失の局所的曲率に、ASGD の収束速度が適応可能か？
• RQ3 収束速度のバウンドにおいて、線形予測子の範囲（例：$e^U$）に指数的依存を避けることは可能か？
• RQ4 グローバルな強凸性を仮定せず、定数ステップサイズのもとで、ASGD がロジスティック回帰において $O(R^2/\mu N)$ のレートを達成できるか？

主な発見

• $\mu\sqrt{N}/R \geq 500$ のとき、平均反復の期待二乗誤差は $\mathbb{E}\|\bar{\theta}_N - \theta_*\|^2 \leq \frac{R^2}{N\mu^2}(6\alpha + 21)^4$ を満たす。ここで $\alpha = R\|\theta_0 - \theta_*\|$ である。
• $\mu > R^2/\sqrt{N}$ のとき、収束速度は $O(1/\sqrt{N})$ から $O(R^2/\mu N)$ に改善され、局所的強凸性への適応性が示された。
• 改善されたレートは、$1/R^2\sqrt{N}$ のオーダーの定数ステップサイズで達成され、$e^U$ のような指数的要因を避ける分析がなされている。
• ロジスティック損失の自己共鳴性のおかげで、特徴量が一様に有界であるすべての一般化線形モデルへも結果が拡張可能である。
• 解析は有限な $N$ と定数ステップサイズに対して有効であり、ダブルイングトリックを用いて減少ステップサイズへも拡張可能である。