[논문 리뷰] Iterate averaging as regularization for stochastic gradient descent

Gergely Neu, Lorenzo Rosasco|arXiv (Cornell University)|2018. 02. 22.

Stochastic Gradient Optimization Techniques인용 수 16

한 줄 요약

이 논문은 선형 최소제곱 회귀에 대한 정규화 기법으로 기하적 폴락–르퍼트 평균화를 제안한다. 이는 확률적 경사하강법(SGD)의 반복값에 기하급수적으로 감쇠하는 가중치를 적용한 가중 평균으로, 점차적 동등성을 통해 리지 회귀와 동일한 성능을 달성하며, 유한 표본 예측 오차 한계를 최적의 결과와 일치시킨다. 이는 감쇠률을 조절하여 편향-분산 트레이드오프를 체계적으로 제어할 수 있는 방법을 제공한다.

ABSTRACT

We propose and analyze a variant of the classic Polyak-Ruppert averaging scheme, broadly used in stochastic gradient methods. Rather than a uniform average of the iterates, we consider a weighted average, with weights decaying in a geometric fashion. In the context of linear least squares regression, we show that this averaging scheme has a the same regularizing effect, and indeed is asymptotically equivalent, to ridge regression. In particular, we derive finite-sample bounds for the proposed approach that match the best known results for regularized stochastic gradient methods.

연구 동기 및 목표

• 확률적 경사하강법(SGD)의 반복값에 대해 기하급수적으로 감쇠하는 가중치를 적용한 새로운 평균화 기법을 개발하여 정규화 효과를 제공한다.
• 기하 평균화와 티코노프(리지) 정규화 간의 점차적 동등성을 수립한다.
• 제안된 방법에 대한 유한 표본 예측 오차 한계를 유도하며, 정규화된 SGD에 대해 알려진 최고의 결과와 일치시킨다.
• 기하 평균화가 테일 평균화와 같은 다른 평균화 전략보다 우월한 경우를 실용적으로 안내한다.
• 저장된 반복값을 활용한 단일 SGD 실행으로 전체 정규화 경로를 효율적으로 계산하여 모델 선택을 지원한다.

제안 방법

• 기하급수적으로 감쇠하는 가중치를 적용한 SGD 반복값의 가중 평균을 제안: $ \widetilde{w}_n = c_n \sum_{t=0}^n (1 - \gamma\lambda)^t w_t $, 여기서 $ c_n $ 은 정규화 상수이다.
• 데이터 분포를 공분산 연산자 $ \Sigma $ 를 통해 모델링하는 힐버트 공간 프레임워크를 사용하여 선형 최소제곱 회귀의 맥락에서 방법을 분석한다.
• 초과 위험 $ \mathbb{E}[\Delta(\widetilde{w}_n)] = \mathbb{E}[\|\Sigma^{1/2}(\widetilde{w}_n - w^*)\|^2] $ 을 유도하고, 민코프스키 및 트레이스 부등식을 사용하여 이를 한계화한다.
• 오차를 '소음 없는' 성분(편향)과 '순수한 소음' 성분(분산)으로 분해하고, 각각을 연산자 노름과 트레이스 항으로 별도로 한계화한다.
• 핵심 항등식 $ w_t - w^* = M_{0,t}(w_0 - w^*) + \eta \sum_{j=1}^t M_{j,t} \varepsilon_j x_j $ 를 사용한다. 여기서 $ M_{j,t} $ 는 업데이트 연산자의 곱으로 이루어진 행렬이다.
• 기하 평균화 기법이 점차적으로 티코노프 정규화된 최소제곱 문제를 푸는 것과 동일하다는 것을 입증한다. 정규화 매개변수 $ \lambda $ 는 감쇠률 $ \gamma $ 에 의해 결정된다.

실험 결과

연구 질문

• RQ1 SGD 반복값의 기하 평균화는 리지 회귀와 동등한 정규화 효과를 낳는가?
• RQ2 기하 평균화의 유한 표본 예측 오차 한계가 정규화된 SGD에 대해 알려진 최고의 결과와 일치하는가?
• RQ3 기하 가중치의 감쇠율이 추정기의 편향-분산 트레이드오프에 어떻게 영향을 주는가?
• RQ4 작은 또는 불안정한 조건을 가진 데이터 환경에서 기하 평균화가 테일 평균화를 능가하는가?
• RQ5 단일 SGD 실행과 저장된 반복값을 통해 전체 정규화 경로를 효율적으로 생성할 수 있는가?

주요 결과

• 기하 폴락–르퍼트 평균화는 점차적으로 티코노프 정규화된 최소제곱 문제를 푸는 것과 동일하며, 정규화 매개변수 $ \lambda $ 는 감쇠율 $ \gamma $ 에 의해 결정된다.
• 이 방법의 유한 표본 예측 오차 한계는 정규화된 SGD에 대해 알려진 최고의 결과와 일치하며, 티바코프(2008)가 정의한 최적의 속도를 달성한다.
• 초과 위험은 $ \mathrm{tr}\left[\Sigma(\Sigma + \lambda I)^{-1}(\Sigma + \frac{\lambda}{2}I)^{-1}E_0\right] $ 를 포함하는 항으로 한계화되며, 여기서 $ E_0 = \mathbb{E}[\|w_0 - w^*\|^2] $ 는 초기 편향을 캡처한다.
• 분산 성분은 $ \frac{\eta \sigma^2}{2 - \eta R^2} \cdot \mbox{tr}[\Sigma^2(\Sigma + \lambda I)^{-2}] $ 로 한계화되며, 이는 소음 민감도를 제어한다.
• 정규화 상수 $ c_n $ 은 $ c_n^2 \leq \frac{1}{\gamma^2} \cdot \frac{1}{(1 - (1 - \gamma\lambda)^n)^2} $ 를 만족하며, 적절한 감쇠 조건 하에서 수렴을 보장한다.
• 이 방법은 단일 SGD 실행으로부터 저장된 반복값을 활용해 여러 정규화 수준을 효율적으로 계산할 수 있어, 병렬적이고 확장 가능한 모델 선택을 지원한다.