[논문 리뷰] On the Effectiveness of Richardson Extrapolation in Machine Learning

Francis Bach|arXiv (Cornell University)|2020. 02. 07.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 7

한 줄 요약

이 논문은 기계학습에서 리처드슨 보간법의 효과성을 조사하며, 기반 알고리즘을 수정하지 않고도 다양한 하이퍼파rameter 값(특히 반복 횟수 또는 정규화 파라미터)에서의 추정치를 조합하여 수렴 속도를 가속화할 수 있음을 보여준다. 평균화된 경사하강법과 다각체에서의 프랭크-울프 알고리즘에서는 점근적 수렴 속도가 $O(1/k^2)$에 도달하며, 네스테로프 스무딩과 리지 회귀에서는 거의 $O(1/k^2)$ 수준의 속도를 기록한다. 이는 이론적 근거와 실험적 검증을 통해 뒷받_UNDERLINE{받고 있다}.

ABSTRACT

Richardson extrapolation is a classical technique from numerical analysis that can improve the approximation error of an estimation method by combining linearly several estimates obtained from different values of one of its hyperparameters, without the need to know in details the inner structure of the original estimation method. The main goal of this paper is to study when Richardson extrapolation can be used within machine learning, beyond the existing applications to step-size adaptations in stochastic gradient descent. We identify two situations where Richardson interpolation can be useful: (1) when the hyperparameter is the number of iterations of an existing iterative optimization algorithm, with applications to averaged gradient descent and Frank-Wolfe algorithms (where we obtain asymptotically rates of $O(1/k^2)$ on polytopes, where $k$ is the number of iterations), and (2) when it is a regularization parameter, with applications to Nesterov smoothing techniques for minimizing non-smooth functions (where we obtain asymptotically rates close to $O(1/k^2)$ for non-smooth functions), and ridge regression. In all these cases, we show that extrapolation techniques come with no significant loss in performance, but with sometimes strong gains, and we provide theoretical justifications based on asymptotic developments for such gains, as well as empirical illustrations on classical problems from machine learning.

연구 동기 및 목표

• 리처드슨 보간법이 확률적 경사하강법의 단계 크기 조정 외에도 효과적으로 적용될 수 있는지 조사하기 위해.
• 반복적 기계학습 알고리즘에서 보간법이 수렴 속도를 향상시키는 조건을 규명하기 위해.
• 알고리즘 반복의 점근적 전개를 이용해 성능 향상에 대한 이론적 근거를 제공하기 위해.
• 리지 회귀 및 비미분 가능 최적화와 같은 고전적 기계학습 문제에서 이 방법을 실험적으로 검증하기 위해.
• 하이퍼파rameter로 반복 횟수와 정규화 파라미터를 적용한 보간법의 적용을 확장하기 위해.

제안 방법

• 하이퍼파rameter $t$의 다양한 값(예: 반복 횟수 $k$ 또는 정규화 파rameter $\lambda$)에서의 추정치를 조합하여 주요 오차 항을 상쇄시키기 위해 리처드슨 보간법을 사용한다.
• 점근적 전개 $x_t = x_* + t^\alpha \Delta + O(t^\beta)$를 가정할 때, $\alpha = -1$(반복 횟수) 및 $\alpha = 1$(정규화)에 대해 보간 공식 $x^{(1)}_t = 2x_t - x_{2^{1/\alpha}t}$를 적용한다.
• 이항 계수와 바르드모인 유사 시스템을 사용하여 보간 추정치의 명시적 표현을 유도하며, 이는 커널 행렬에 대한 닫힌 형식의 스펙트럼 함수로 이어진다.
• 커널 리지 회귀에서 보간 추정치 $\hat{H}^{(m)}_\lambda$의 편향과 분산에 대한 경계를 설정하여, 이들이 $m$, $\lambda$, $n$에 의존함을 보여준다.
• 적분 표현과 감마 함수를 사용하여 보간된 스무딩 행렬에 대한 닫힌 형식의 표현 $s(\mu) = 1 - \frac{(m+1)!}{(\mu+1)\cdots(\mu+m+1)}$를 유도한다.
• 기존 이론적 결과를 표준 기계학습 문제에서의 실험 결과로 검증하여, 성능 저하 없이 수렴 속도 향상을 보였다.

실험 결과

연구 질문

• RQ1 평균화된 경사하강법과 프랭크-울프 알고리즘과 같은 반복 최적화 알고리즘에서 반복 횟수에 대해 리처드슨 보간법을 효과적으로 적용할 수 있는가?
• RQ2 비미분 가능 목적 함수를 다루는 데 있어 네스테로프 스무딩 기법을 사용한 리처드슨 보간법이 수렴 속도를 향상시키는가?
• RQ3 정규화 파라미터에 적용된 보간법이 리지 회귀에서 편향을 감소시키고 추정 성능을 향상시키는가?
• RQ4 리처드슨 보간법이 점근적 수렴 속도 $O(1/k^2)$를 도출하는 데 필요한 이론적 조건은 무엇인가?
• RQ5 보간 단계 수 $m$과 정규화 파라미터 $\lambda$에 따라 보간 추정치의 편향과 분산은 어떻게 변화하는가?

주요 결과

• 평균화된 경사하강법과 다각체에서의 프랭크-울프 알고리즘에서 리처드슨 보간법은 $O(1/k^2)$의 점근적 수렴 속도를 달성하여 기존의 $O(1/k)$ 수준보다 뚜렷이 향상된 성능를 보였다.
• 비미분 가능 최적화에서 네스테로프 스무딩을 사용할 경우, 이 방법은 $O(1/k^2)$에 가까운 수렴 속도를 기록하여 비미분 가능 목적 함수를 효과적으로 다룰 수 있음을 보여주었다.
• 리지 회귀에서는 이론적 경계를 통해 편향 항이 $O(n^{2m+1}\lambda^{2m+2})$ 비례함을 확인하여, 보간법이 편향을 감소시킴을 입증하였다.
• 보간 추정치 $\hat{H}^{(m)}_\lambda$의 분산은 $\triangle_m \sigma^2 / n \cdot \mathrm{tr}[K(K+n\lambda I)^{-1}]^2$로 경계되며, 이때 $\triangle_m$은 $n$과 $\lambda$에 영향을 받지 않는다.
• 닫힌 형식의 표현 $s(\mu) = 1 - \frac{(m+1)!}{(\mu+1)\cdots(\mu+m+1)}$는 보간된 커널 행렬에 대한 스펙트럼 함수를 제공하여 효율적인 계산을 가능하게 한다.
• 모든 $m \to \infty$일 때 $s(\mu) \to 1$이지만, 상수 $\square_m$과 $\triangle_m$은 발산하므로, 편향은 감소하지만 분산은 $\sigma^2$로 느리게 수렴하여 큰 $m$에서는 실용적 이득이 제한됨을 시사한다.