[論文レビュー] Statistical Optimality of Stochastic Gradient Descent on Hard Learning Problems through Multiple Passes

Loucas Pillaud‐Vivien, Alessandro Rudi+1 more|arXiv (Cornell University)|May 25, 2018

Stochastic Gradient Optimization Techniques被引用数 39

ひとこと要約

この論文は、特徴共分散行列の固有値の減少が遅く、予測子の複雑さが高いという特徴を持つ、最小二乗回帰における困難な学習問題において、確率的勾配降下法（SGD）の複数回のデータ走査が統計的に最適であることを確立している。一方、単一回の走査では最適でない。最適な走査回数は、サンプルサイズ $ n^{(\beta)} $ に比例して増加し、その指数は問題固有のパラメータ $ \alpha $ と $ r $ に依存する。これは、長年の理論的・実践的ギャップを解消するものである。

ABSTRACT

We consider stochastic gradient descent (SGD) for least-squares regression with potentially several passes over the data. While several passes have been widely reported to perform practically better in terms of predictive performance on unseen data, the existing theoretical analysis of SGD suggests that a single pass is statistically optimal. While this is true for low-dimensional easy problems, we show that for hard problems, multiple passes lead to statistically optimal predictions while single pass does not; we also show that in these hard models, the optimal number of passes over the data increases with sample size. In order to define the notion of hardness and show that our predictive performances are optimal, we consider potentially infinite-dimensional models and notions typically associated to kernel methods, namely, the decay of eigenvalues of the covariance matrix of the features and the complexity of the optimal predictor as measured through the covariance matrix. We illustrate our results on synthetic experiments with non-linear kernel methods and on a classical benchmark with a linear model.

研究の動機と目的

• SGD における複数回走査の実践的成功と、最適性能を求める理論的結果が単一回走査を支持するという、両者の乖離を解消すること。
• 複数回走査が統計的最適性を達成するために必要な「困難な」学習問題の定義と特徴付けを行うこと。
• 最小上限予測誤差 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ を達成するための最適なデータ走査回数を、問題パラメータ $ \alpha $ と $ r $ の観点から導出すること。
• 核法の道具を用いて、有限次元モデルから無限次元設定への理論的分析を拡張し、次元に依存しない非自明な境界を可能にする。
• 核法を用いた合成実験と高次元線形モデルを用いた実世界ベンチマークを通じて、最適走査回数の理論的スケーリングを検証すること。

提案手法

• 無限次元の特徴空間を用い、問題の困難さを2つのパラメータで特徴付ける：$ \alpha $ は入力共分散行列 $ \Sigma $ の固有値の減少率を制御し、$ r $ は最適予測子 $ \theta_* $ の複雑さを $ \langle \theta_*, \Sigma^{1-2r} \theta_* \rangle $ を用いて測定する。
• 最小上限予測誤差 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ を導出し、統計的最適性のベンチマークとする。
• 困難な問題（$ r \leq \frac{\alpha-1}{2\alpha} $）では、単一回走査の平均化 SGD は $ O(n^{-2r}) $ のみを達成するが、$ \Theta(n^{(\alpha-1-2r\alpha)/(1+2r\alpha)}) $ 回の走査を伴う複数回走査 SGD は最適率に達する。
• 集中不等式と高確率境界を用いて理論的保証を確立し、主定理の技術的条件を満たすためにステップサイズと正則化パラメータを慎重に選択する。
• 同じフレームワーク（固有値の減少と予測子の複雑さ）を用いて、パラメトリックモデル（高次元線形回帰）とノンパラメトリックモデル（カーネル法）の両方に適用可能である。
• 実験では、既知の $ \alpha $ と $ r $ を持つ合成データと、大規模な次元を持つ線形モデルを用いた実世界ベンチマークを用い、サンプリング方式（置換なしとサイクリック）の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 最小二乗回帰における困難な学習問題において、複数回走査 SGD は単一回走査 SGD より理論的に優れているか？
• RQ2 サンプルサイズと問題パラメータに応じて、統計的最適性を達成するための最適なデータ走査回数は何か？
• RQ3 固有値の減少率 $ \alpha $ と予測子の複雑さ $ r $ が、SGD の統計的性能をどのように共同で決定するか？
• RQ4 カーネル法の理論枠組みを、次元が高い有限次元モデルに拡張し、非自明な境界を導出できるか？
• RQ5 困難な問題において、最適な走査回数はサンプルサイズとともに増加するか？もしそうなら、その増加率は何か？

主な発見

• 問題が困難である場合（$ r \leq \frac{\alpha-1}{2\alpha} $）、単一回走査の平均化 SGD は $ O(n^{-2r}) $ の予測誤差に留まり、最小上限率 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ よりも劣っている。
• $ \Theta(n^{(\alpha-1-2r\alpha)/(1+2r\alpha)}) $ 回の走査を伴う複数回走査 SGD は、最小上限最適予測誤差 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ を達成する。
• 最適な走査回数はサンプルサイズ $ n $ とともに増加し、その指数はパラメータ $ \alpha $ と $ r $ に明示的に依存しており、より困難な問題では走査回数を増やす必要があることを確認している。
• カーネル法を用いた合成実験では、最適走査回数の理論的スケーリングと観測された性能の低下が一致しており、理論的境界が妥当であることを裏付けている。
• 高次元線形モデルでは、特徴次元がサンプルサイズを上回っていても、必要な走査回数が $ n $ とともに増加しており、理論的予測と整合的である。
• この分析は有限次元モデルおよびノンパラメトリックなカーネル法の両方に対して有効であり、無限次元特徴空間における固有値の減少と予測子の複雑さを統一的に用いることで統合されている。