[論文レビュー] Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model

Raphaël Berthier, Francis Bach+1 more|arXiv (Cornell University)|Jun 15, 2020

Stochastic Gradient Optimization Techniques参考文献 33被引用数 8

ひとこと要約

この論文は、出力が変換された入力の決定的線形関数であるノイズレス線形モデル下での確率的勾配降下法（SGD）のタイトな非パrametric収束レートを確立する。収束レートは真のパラメータと特徴マップの正則性の最小値に依存し、共分散作用素のべきノルムを用いて多項式減衰レートが導出される。さらに、カーネル回帰およびグラフベースの平均化プロセスへと拡張される。

ABSTRACT

In the context of statistical supervised learning, the noiseless linear model assumes that there exists a deterministic linear relation $Y = \\langle \ heta_*, X \ angle$ between the random output $Y$ and the random feature vector $\\Phi(U)$, a potentially non-linear transformation of the inputs $U$. We analyze the convergence of single-pass, fixed step-size stochastic gradient descent on the least-square risk under this model. The convergence of the iterates to the optimum $\ heta_*$ and the decay of the generalization error follow polynomial convergence rates with exponents that both depend on the regularities of the optimum $\ heta_*$ and of the feature vectors $\\Phi(u)$. We interpret our result in the reproducing kernel Hilbert space framework. As a special case, we analyze an online algorithm for estimating a real function on the unit interval from the noiseless observation of its value at randomly sampled points; the convergence depends on the Sobolev smoothness of the function and of a chosen kernel. Finally, we apply our analysis beyond the supervised learning setting to obtain convergence rates for the averaging process (a.k.a. gossip algorithm) on a graph depending on its spectral dimension.

研究の動機と目的

• ノイズレス線形モデル下で、Y = ⟨θ*, Φ(U)⟩ であり追加ノイズがない状況下での、1パス固定ステップサイズSGDの最小二乗リスクにおける収束を分析すること。
• 収束レートに対して鋭い上界および下界を導出し、非パラメトリックな状況下でレートのタイトさを確立すること。
• 特に単位ハイパーキューブ上での関数補間を想定した再生核ヒルベルト空間（RKHS）フレームワークにおいて、結果を解釈すること。
• 教師あり学習を超えて、グラフ上の平均化プロセス（gossipアルゴリズム）へと結果を拡張し、収束がスペクトル次元にどのように関連するかを明らかにすること。
• ノイズレス仮定からのわずかな逸脱に対するSGDのロバストネスを評価し、漸近的誤差が定数倍に制限されることを示すこと。

提案手法

• 最適パラメータθ*と特徴ベクトルXの正則性を、共分散作用素Σ = E[X⊗X]のべきノルムを用いて定量化する。
• 期待二乗誤差E[‖θn − θ*‖²]および一般化誤差に対する上界および下界を導出し、一致する多項式レートを示す。
• 固定ステップサイズ下でのSGD反復の再帰的解析が、Σのスペクトル的性質を活用する、主な技術的ツールである。
• 特徴マップを正定値カーネルによって誘導されるものと解釈することで、カーネル回帰へのフレームワークの拡張を行う。収束は、ターゲット関数およびカーネルのソボレフ正則性に依存する。
• 平均化プロセスをヒルベルト空間上でのi.i.d.線形作用素の積としてモデル化することで、グラフ上のgossipアルゴリズムへの応用を行う。
• ノイズレスモデルに微小な追加ノイズを加えることでロバストネスを分析し、漸近的誤差が最適一般化誤差の定数倍で有界であることを示す。

実験結果

リサーチクエスチョン

• RQ1 固定ステップサイズSGDのノイズレス線形モデル下での非パラメトリック収束レートは何か？ また、真のパラメータと特徴マップの正則性にどのように依存するか？
• RQ2 このモデル下でのSGDの収束に対して、タイトな上界および下界を確立できるか？ これにより、レートが最適であることが保証されるか？
• RQ3 これらの収束レートは、特にソボレフ正則性を持つ関数を単位ハイパーキューブ上で補間するカーネル回帰にどのように適用できるか？
• RQ4 同じ理論的フレームワークを、グラフ上の分散型平均化プロセスに適用可能か？ そして、スレクトル次元は果たす役割は何か？
• RQ5 ノイズレス仮定がわずかに破られた場合、SGDの性能はどのように変化するか？ また、漸近的一般化誤差に及ぼす影響は何か？

主な発見

• SGDの収束レートは多項式的であり、指数は α* = min(1 − 1/β, (2δ − 1)/β) で与えられる。ここでβは特徴マップの正則性を、δは真のパラメータθ*の正則性を測る。
• ノイズレスモデル下では、再構成誤差E[‖θn − θ*‖²]がO(n^{−α*})のレートで減少し、上界と下界が一致することから、タイトさが確認される。
• ノイズレス仮定が微小な追加ノイズによって破られた場合、SGDの漸近的一般化誤差は最適一般化誤差の定数倍で有界である。
• 単位ハイパーキューブ上でのカーネル回帰において、収束レートはターゲット関数およびカーネルの両方のソボレフ正則性に依存し、それぞれの正則性パラメータによって決定される。
• グラフ上のgossipアルゴリズムも多項式的収束を示し、収束レートはグラフのスレクトル次元に依存する。これは、同じ抽象的作用素フレームワークから導出される。
• 追加ノイズが存在しない場合、ステップサイズの減少や平均化を伴わず、ゼロ初期化と1パスのデータアクセスによる暗黙の正則化のおかげでSGDは収束する。