[論文レビュー] Harder, Better, Faster, Stronger Convergence Rates for Least-Squares Regression

Dieuleveut, Aymeric, Nicolas Flammarion+1 more|arXiv (Cornell University)|Feb 17, 2016

Stochastic Gradient Optimization Techniques被引用数 27

ひとこと要約

本稿では、確率的勾配の下で最小二乗回帰において、バイアス（O(1/n²)）とばらつき（O(d/n)）の両方の収束速度を同時に最適化する、新しい平均化された加速正則化勾配降下法を提示する。この手法は加速と平均化を組み合わせることで、初期条件の忘却とノイズ依存性の両面で、既存の最良のレートを同時に達成する。最適性は非パラメトリック回帰の下界によって検証される。

ABSTRACT

We consider the optimization of a quadratic objective function whose gradients are only accessible through a stochastic oracle that returns the gradient at any given point plus a zero-mean finite variance random error. We present the first algorithm that achieves jointly the optimal prediction error rates for least-squares regression, both in terms of forgetting of initial conditions in O(1/n 2), and in terms of dependence on the noise and dimension d of the problem, as O(d/n). Our new algorithm is based on averaged accelerated regularized gradient descent, and may also be analyzed through finer assumptions on initial conditions and the Hessian matrix, leading to dimension-free quantities that may still be small while the " optimal " terms above are large. In order to characterize the tightness of these new bounds, we consider an application to non-parametric regression and use the known lower bounds on the statistical performance (without computational limits), which happen to match our bounds obtained from a single pass on the data and thus show optimality of our algorithm in a wide variety of particular trade-offs between bias and variance.

研究の動機と目的

• 確率的最小二乗回帰における最適バイアスとばらつきレートのギャップを埋めること。
• 勾配ノイズに強く、かつ最適収束速度を達成するアルゴリズムを設計すること。
• 次元依存の項を超えて、ヒルベルト空間設定における次元に依存しない数量にまで拡張された収束境界を導出すること。
• 非パラメトリック回帰における一致する統計的下界を用いて、提案されたレートの最適性を示すこと。

提案手法

• バイアスとばらつきの両方の項を同時に最適化するためのコアアルゴリズムとして、平均化された加速正則化勾配降下法を提案する。
• 初期条件やヘッセ行列の構造に関するより細かい仮定に基づく洗練された解析を導入し、次元に依存しない収束境界を導出する。
• アルゴリズムの安定化と、標準的な最適項が大きくなった場合でも小さなまま保たれる tighter な境界を実現するため、正則化を用いる。
• ヘッセ行列のスペクトル解析と固有値分解を用いて、初期条件の影響の減衰を制限する。
• 周波数領域における反復の挙動を分析するために、三角関数および複素数の恒等式を用いる。
• 非パラメトリック回帰における既知の統計的下界とアルゴリズムの境界を比較することで、最適性を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的最小二乗回帰において、初期条件の忘却に最適な O(1/n²) レートと、ノイズ依存性に最適な O(d/n) レートを同時に達成できるアルゴリズムは存在するか？
• RQ2 平均化された加速勾配降下法は、勾配ノイズに対して頑健でありながらも、最適収束速度を維持できるか？
• RQ3 次元に依存しない表現で収束境界を導出でき、d が大きくても n が小さくてもタイトなまま保てるか？
• RQ4 導出されたアルゴリズムの境界は、非パラメトリック回帰設定における既知の統計的下界と一致するか？
• RQ5 正則化は、加速手法におけるよりタイトで次元に依存しない収束解析を可能にするために果たす役割は何か？

主な発見

• 提案された平均化された加速正則化勾配降下法は、最小二乗回帰において、最適な O(1/n²) のバイアスと O(d/n) のばらつきレートを達成する。
• 平均化機構のおかげで、標準的な加速勾配降下法とは異なり、勾配ノイズに対して頑健である。
• 洗練された解析により、d が大きくても、または初期条件のノルムが大きくても、次元に依存しない収束境界が得られ、その値が小さいまま保たれる。
• アルゴリズムの性能は、非パラメトリック回帰における既知の統計的下界と一致し、バイアス-ばらつきトレードオフの広い範囲で最適性が証明される。
• 一度のデータ走査で最適レートを達成できることから、計算効率が優れていることが示される。
• 理論的境界はスペクトル解析と三角関数の恒等式によって検証され、初期条件の影響の減衰がきびしく制御されていることが示される。