[논문 리뷰] Gradient-Based Empirical Risk Minimization using Local Polynomial Regression

Ali Jadbabaie, Anuran Makur외 1명|arXiv (Cornell University)|2020. 11. 04.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 데이터의 손실 함수의 스무쓰함을 활용하기 위해 局부 다항 회귀를 활용하는 새로운 기울기 기반의 경험적 리스크 최소화 알고리즘을 제안한다. 이는 저차원 데이터 영역에서 배치 및 확률적 경사 하강법보다 향상된 오라클 복잡도를 달성한다. 방법은 국소 보간을 통해 기울기를 학습하며, 오라클 복잡도는 $\tilde{O}((p\epsilon^{-1})^{d/(2\eta)})$를 기록한다. 이는 데이터 차원 $d$ 가 작고 손실 함수가 데이터에 대해 $\eta$-Hölder 스무쓰할 경우 GD 및 SGD 를 능가한다.

ABSTRACT

In this paper, we consider the problem of empirical risk minimization (ERM) of smooth, strongly convex loss functions using iterative gradient-based methods. A major goal of this literature has been to compare different algorithms, such as gradient descent (GD) or stochastic gradient descent (SGD), by analyzing their rates of convergence to $ε$-approximate solutions. For example, the oracle complexity of GD is $O(n\log(ε^{-1}))$, where $n$ is the number of training samples. When $n$ is large, this can be expensive in practice, and SGD is preferred due to its oracle complexity of $O(ε^{-1})$. Such standard analyses only utilize the smoothness of the loss function in the parameter being optimized. In contrast, we demonstrate that when the loss function is smooth in the data, we can learn the oracle at every iteration and beat the oracle complexities of both GD and SGD in important regimes. Specifically, at every iteration, our proposed algorithm performs local polynomial regression to learn the gradient of the loss function, and then estimates the true gradient of the ERM objective function. We establish that the oracle complexity of our algorithm scales like $ ilde{O}((p ε^{-1})^{d/(2η)})$ (neglecting sub-dominant factors), where $d$ and $p$ are the data and parameter space dimensions, respectively, and the gradient of the loss function belongs to a $η$-Hölder class with respect to the data. Our proof extends the analysis of local polynomial regression in non-parametric statistics to provide interpolation guarantees in multivariate settings, and also exploits tools from the inexact GD literature. Unlike GD and SGD, the complexity of our method depends on $d$ and $p$. However, when $d$ is small and the loss function exhibits modest smoothness in the data, our algorithm beats GD and SGD in oracle complexity for a very broad range of $p$ and $ε$.

연구 동기 및 목표

• 실제 머신러닝 문제에서 흔히 나타나는 손실 함수의 스무쓰함을 무시하는 표준 기울기 기반 ERM 방법의 한계를 해결한다.
• 큰 $n$ 에서 배치 경사 하강법(GD)의 높은 오라클 복잡도와, $\epsilon$-의존성 측면에서 최적화되지 않은 확률적 경사 하강법(SGD)의 문제를 해결한다.
• 모델 파라미터가 아닌 훈련 데이터에 대한 손실 함수의 스무쓰함을 활용하는 새로운 최적화 프레임워크를 개발한다.
• 다변량 비모수 설정에서 현실적인 스무쓰함 가정 하에 수렴 속도와 오라클 복잡도에 대한 이론적 보장을 수립한다.
• 국소 다항 회귀의 엄밀한 분석을 제공하며, 초위치 노름 제어를 통해 보간 기반 기울기 추정을 가능하게 한다.

제안 방법

• 각 반복 단계에서 데이터 포인트의 가상 배치에 대해 국소 다항 회귀를 수행하여 데이터에 대한 손실 함수의 기울기를 추정한다.
• 추정된 국소 기울기를 사용해 경험적 리스크 최소화(ERM) 목적 함수의 진짜 기울기의 대체물(프록시)을 구성한다.
• 보간된 기울기 추정치를 사용해 근사 기울기 하강법을 적용하며, 국소 회귀를 가상 오라클로 간주한다.
• 초위치 노름 보장을 갖춘 다변량 국소 다항 보간을 활용해, Hölder 스무쓰함 가정 하에 정확한 기울기 근사가 보장되도록 한다.
• 오라클 복잡도의 경계를 유도하기 위해 근사 기울기 하강법 이론의 도구를 통합한다.
• 손실 함수가 파라미터가 아닌 데이터에 대해 $\eta$-Hölder 스무쓰하다는 가정을 하여, 데이터 스무쓰함을 활용해 더 빠른 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 손실 함수의 데이터 스무쓰함을 활용함으로써 GD 및 SGD 를 초월하는 ERM 의 오라클 복잡도를 향상시킬 수 있는가?
• RQ2 데이터 공간에서 국소 다항 회귀를 통해 기울기를 학습하는 알고리즘의 이론적 수렴 속도는 무엇인가?
• RQ3 제안된 방법의 오라클 복잡도는 데이터 차원 $d$, 파라미터 차원 $p$, 그리고 원하는 정밀도 $\epsilon$ 에 따라 어떻게 스케일링되는가?
• RQ4 제안된 방법이 GD 및 SGD 와 비교해 기울기 쿼리 효율성 측면에서 어떤 조건에서 승리하는가?
• RQ5 Hölder 스무쓰함 가정 하에 다변량 국소 다항 회귀에 대해 엄밀한 초위치 노름 오차 경계를 확립할 수 있는가?

주요 결과

• 제안된 LIP-GD 알고리즘은 $\tilde{O}((p\epsilon^{-1})^{d/(2\eta)})$ 의 오라클 복잡도를 달성하며, 이는 GD 및 SGD 와 달리 데이터 차원 $d$ 와 파라미터 차원 $p$ 둘 다에 의존한다.
• 작은 데이터 차원 $d$ 와 중간 정도의 스무쓰함 $\eta = \Theta(d)$ 인 경우, 다양한 $p$ 와 $\epsilon$ 에서 GD 및 SGD 를 모두 능가한다.
• 조건 $\tau > \max\{1, \alpha^{-1}\}$ 하에 $n \to \infty$ 의 극한에서 LIP-GD 의 오라클 복잡도는 GD 및 SGD 보다 엄밀히 우월하다. 여기서 $\tau$ 는 수렴 속도를 제어한다.
• 분석을 통해 다변량 국소 다항 회귀에 대한 새로운 초위치 노름 보장을 제공하며, 오차 제어를 갖춘 고차원 보간으로 비모수 통계를 확장한다.
• 방법의 수렴성은 근사 기울기 하강법 이론의 도구를 통해 확립되었으며, 오차 경계는 데이터에 대한 손실 기울기의 Hölder 연속성에 의해 도출되었다.
• 이론적 프레임워크는 표준 ERM 분석에서 무시되는 경향이 있는 데이터 스무쓰함이, 증명 가능하게 더 빠른 최적화 알고리즘 설계에 활용될 수 있음을 보여준다.