[論文レビュー] Gradient-Based Empirical Risk Minimization using Local Polynomial Regression

Ali Jadbabaie, Anuran Makur+1 more|arXiv (Cornell University)|Nov 4, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、データにおける損失関数の滑らかさを活用するための新しい勾配ベースの経験的リスク最小化（ERM）アルゴリズムを提案する。この手法は局所多項式回帰を用いることで、低次元データ領域におけるバッチ勾配降下法（GD）および確率的勾配降下法（SGD）よりも優れたオракル複雑度を達成する。本手法は局所補間により勾配を学習し、オラクル複雑度を $\tilde{O}((p\epsilon^{-1})^{d/(2\eta)})$ に抑える。これは、データ次元 $d$ が小さく、損失関数がデータに関して $\eta$-ホルダー滑らかである場合に、GD や SGD よりも優れる。

ABSTRACT

In this paper, we consider the problem of empirical risk minimization (ERM) of smooth, strongly convex loss functions using iterative gradient-based methods. A major goal of this literature has been to compare different algorithms, such as gradient descent (GD) or stochastic gradient descent (SGD), by analyzing their rates of convergence to $ε$-approximate solutions. For example, the oracle complexity of GD is $O(n\log(ε^{-1}))$, where $n$ is the number of training samples. When $n$ is large, this can be expensive in practice, and SGD is preferred due to its oracle complexity of $O(ε^{-1})$. Such standard analyses only utilize the smoothness of the loss function in the parameter being optimized. In contrast, we demonstrate that when the loss function is smooth in the data, we can learn the oracle at every iteration and beat the oracle complexities of both GD and SGD in important regimes. Specifically, at every iteration, our proposed algorithm performs local polynomial regression to learn the gradient of the loss function, and then estimates the true gradient of the ERM objective function. We establish that the oracle complexity of our algorithm scales like $ ilde{O}((p ε^{-1})^{d/(2η)})$ (neglecting sub-dominant factors), where $d$ and $p$ are the data and parameter space dimensions, respectively, and the gradient of the loss function belongs to a $η$-Hölder class with respect to the data. Our proof extends the analysis of local polynomial regression in non-parametric statistics to provide interpolation guarantees in multivariate settings, and also exploits tools from the inexact GD literature. Unlike GD and SGD, the complexity of our method depends on $d$ and $p$. However, when $d$ is small and the loss function exhibits modest smoothness in the data, our algorithm beats GD and SGD in oracle complexity for a very broad range of $p$ and $ε$.

研究の動機と目的

• 実用的な機械学習問題において広く見られるが、標準的な勾配ベースの ERM 法が無視する損失関数のデータ内滑らかさの制限に対処すること。
• 大規模な $n$ におけるバッチ勾配降下法（GD）の高いオラクル複雑度と、$\epsilon$-依存性において最適でない収束性を示す確率的勾配降下法（SGD）の課題を克服すること。
• モデルパラメータだけでなく、学習データに関して損失関数の滑らかさを活用する新しい最適化フレームワークの構築。
• 多次元かつ非パラメトリックな設定において、現実的な滑らかさ仮定の下で収束速度とオラクル複雑度の理論的保証を確立すること。
• 超上限ノルム制御を伴う多次元設定における局所多項式回帰の分析を厳密に実施し、補間に基づく勾配推定を可能にする。

提案手法

• 各反復で、仮想バッチのデータポイントに対して局所多項式回帰を実行し、損失関数のデータに関する勾配を推定する。
• 推定された局所勾配を用いて、経験的リスク最小化（ERM）目的関数の真の勾配の代理を構築する。
• 補間された勾配推定値を用いた不正確な勾配降下法を適用し、局所回帰を代理オラクルとして扱う。
• 超上限ノルムの保証を伴う多次元局所多項式補間を活用し、ホルダー滑らかさ仮定の下で精度の高い勾配近似を保証する。
• 不正確な勾配降下法の理論的ツールを統合し、収束誤差をバウンディングし、オラクル複雑度の境界を導出する。
• 損失関数がパラメータではなくデータに関して $\eta$-ホルダー滑らかであると仮定し、データの滑らかさを活用して収束を高速化する。

実験結果

リサーチクエスチョン

• RQ1 損失関数のデータ内滑らかさを活用することで、GD や SGD を超える ERM のオラクル複雑度を向上させることは可能か？
• RQ2 データ空間における局所多項式回帰により勾配を学習するアルゴリズムの理論的収束速度は何か？
• RQ3 提案手法のオラクル複雑度は、データ次元 $d$、パラメータ次元 $p$、および所望の精度 $\epsilon$ に対してどのようにスケーリングされるか？
• RQ4 どのような条件下で、本手法が GD や SGD の両方を勾配クエリ効率面で上回るか？
• RQ5 ホルダー滑らかさ仮定の下で、多次元局所多項式回帰に対する厳密な超上限ノルム誤差境界を確立できるか？

主な発見

• 提案された LIP-GD アルゴリズムは、$\tilde{O}((p\epsilon^{-1})^{d/(2\eta)})$ のオラクル複雑度を達成する。これは、GD や SGD とは異なり、データ次元 $d$ とパラメータ次元 $p$ の両方に依存する。
• データ次元 $d$ が小さく、滑らかさ $\eta = \Theta(d)$ が中程度の場合は、$p$ や $\epsilon$ の広い範囲で、本手法は GD や SGD を上回る。
• $n \to \infty$ の極限において、条件 $\tau > \max\{1, \alpha^{-1}\}$ を満たす限り、LIP-GD のオラクル複雑度は GD や SGD よりも厳密に優れる。ここで $\tau$ は収束速度を制御する。
• 本分析により、多次元局所多項式回帰に対する新しい超上限ノルム保証が得られ、非パラメトリック統計を高次元補間と誤差制御に拡張した。
• 収束性は不正確な勾配降下法の理論的ツールを用いて確立され、誤差境界はデータにおける損失勾配のホルダー連続性に基づいて導出される。
• 理論的枠組みは、標準的な ERM 分析で無視されがちなデータの滑らかさが、保証可能な高速化を実現する最適化アルゴリズムの設計に活用可能であることを示している。