[논문 리뷰] Statistical Optimality of Stochastic Gradient Descent on Hard Learning Problems through Multiple Passes

Loucas Pillaud‐Vivien, Alessandro Rudi외 1명|arXiv (Cornell University)|2018. 05. 25.

Stochastic Gradient Optimization Techniques인용 수 39

한 줄 요약

이 논문은 최소제곱 회귀에서 어려운 학습 문제—특징 공분산 행렬의 고유값 감쇠가 느리고 예측자 복잡도가 높은 경우—에 대해, 확률적 경사하강법(SGD)에서 다중 패assing이 통계적으로 최적임을 규명한다. 반면 단일 패assing SGD는 최적성이 떨어진다. 최적의 패assing 수는 표본 크기 $ n^{(\beta)} $ 비례로 증가하며, 이 지수는 문제에 따라 결정되는 매개변수 $ \alpha $ 및 $ r $ 에 의존한다. 이는 오랫동안 존재했던 이론적 이해와 실무적 실천 간 격차를 해결한다.

ABSTRACT

We consider stochastic gradient descent (SGD) for least-squares regression with potentially several passes over the data. While several passes have been widely reported to perform practically better in terms of predictive performance on unseen data, the existing theoretical analysis of SGD suggests that a single pass is statistically optimal. While this is true for low-dimensional easy problems, we show that for hard problems, multiple passes lead to statistically optimal predictions while single pass does not; we also show that in these hard models, the optimal number of passes over the data increases with sample size. In order to define the notion of hardness and show that our predictive performances are optimal, we consider potentially infinite-dimensional models and notions typically associated to kernel methods, namely, the decay of eigenvalues of the covariance matrix of the features and the complexity of the optimal predictor as measured through the covariance matrix. We illustrate our results on synthetic experiments with non-linear kernel methods and on a classical benchmark with a linear model.

연구 동기 및 목표

• SGD에서 다중 패assing의 실무적 성공과 단일 패assing이 최적 성능을 위해 이론적으로 유리하다는 결과 사이의 괴리를 해결하기 위해.
• 단일 패assing으로는 통계적 최적이 되지 못하는 '어려운' 학습 문제의 정의와 특성 분석을 위해.
• 최소최대 예측률 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ 을 달성하는 데 필요한 데이터 패assing 수의 최적값을 문제 매개변수 $ \alpha $ 및 $ r $ 에 따라 유도하기 위해.
• 핵심 방법론을 사용해 유한차원 모델에서 무한차원 설정으로 이론 분석을 확장함으로써, 비어 있지 않은, 차원에 영향을 받지 않는 경계를 가능하게 하기 위해.
• 핵심 방법론을 사용한 합성 실험과 고차원 선형 모델에서의 실제 데이터 벤치마크를 통해 이론적 최적 패assing 수의 스케일링을 검증하기 위해.

제안 방법

• 분석은 무한차원 특징 공간을 사용하며, 문제의 어려움을 두 가지 매개변수로 특성화한다: $ \alpha $ 는 입력 공분산 행렬 $ \Sigma $ 의 고유값 감쇠 속도를 결정하고, $ r $ 은 최적 예측자 $ \theta_* $ 의 복잡도를 $ \langle \theta_*, \Sigma^{1-2r} \theta_* \rangle $ 를 통해 측정한다.
• 논문은 최소최대 예측률 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ 을 도출하며, 이는 통계적 최적성의 기준이 된다.
• 어려운 문제의 경우($ r \leq \frac{\alpha-1}{2\alpha} $), 단일 패assing SGD는 오직 $ O(n^{-2r}) $ 의 성능을 달성하는 반면, $ \Theta(n^{(\alpha-1-2r\alpha)/(1+2r\alpha)}) $ 의 패assing 수를 가진 다중 패assing SGD는 최적률을 달성한다.
• 집중 부등식과 고확률 경계를 사용하여 이론적 보장을 확립하였으며, 주요 정리의 기술적 조건을 만족시키기 위해 스텝 사이즈와 정규화 매개변수를 신중히 선택하였다.
• 이 방법은 유한차원 모델(고차원 선형 회귀)과 비모수적 모델(커널 방법) 모두에 적용되며, 동일한 프레임워크인 고유값 감쇠와 예측자 복잡도를 사용한다.
• 실험은 알려진 $ \alpha $ 와 $ r $ 를 가진 합성 데이터와 고차원 선형 모델을 사용한 실제 데이터 벤치마크를 사용하였으며, 표본 추출 방식(재사용 없음 및 순환) 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 최소제곱 회귀에서 어려운 학습 문제에 대해 다중 패assing SGD는 단일 패assing SGD보다 이론적으로 우월한가?
• RQ2 표본 크기와 문제 매개변수에 따라 통계적 최적성을 달성하는 데 필요한 최적의 패assing 수는 무엇인가?
• RQ3 고유값 감쇠 속도 $ \alpha $ 와 예측자 복잡도 $ r $ 가 함께 SGD의 통계적 성능를 어떻게 결정하는가?
• RQ4 핵심 방법론의 이론적 프레임워크를 고차원 유한차원 모델로 확장하여 비어 있지 않은 경계를 도출할 수 있는가?
• RQ5 어려운 문제에서 최적의 패assing 수는 표본 크기와 함께 증가하는가? 만약 그렇다면 어떤 비율로 증가하는가?

주요 결과

• 문제가 $ r \leq \frac{\alpha-1}{2\alpha} $ 를 만족하는 어려운 경우, 단일 패assing 평균 SGD는 $ O(n^{-2r}) $ 의 예측 오차를 기록하며, 이는 최소최대율 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ 과 비교해 최적이 아니다.
• 최적의 패assing 수 $ \Theta(n^{(\alpha-1-2r\alpha)/(1+2r\alpha)}) $ 를 가진 다중 패assing SGD는 최소최대 최적 예측률 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ 을 달성한다.
• 최적의 패assing 수는 표본 크기 $ n $ 과 함께 증가하며, 이 지수는 문제 매개변수 $ \alpha $ 와 $ r $ 에 명시적으로 의존한다. 이는 더 어려운 문제일수록 더 많은 패assing 수가 필요하다는 것을 확인한다.
• 핵심 방법론을 사용한 합성 실험에서, 최적 패assing 수의 이론적 스케일링이 관측된 성능 감쇠와 일치함을 확인하여 이론적 경계가 검증되었다.
• 고차원 선형 모델에서, 필요한 패assing 수는 표본 크기 $ n $ 과 함께 증가하며, 이는 이론적 예측과 일치한다. 이는 특징 차원이 표본 크기를 초과하는 경우에도 성립한다.
• 분석은 유한차원 모델과 비모수적 커널 방법 모두에 대해 유효하며, 무한차원 특징 공간에서 고유값 감쇠와 예측자 복잡도를 통합함으로써 통합된 프레임워크를 제공한다.