[논문 리뷰] Learning with SGD and Random Features

Luigi Carratino, Alessandro Rudi외 1명|arXiv (Cornell University)|2018. 07. 17.

Face and Expression Recognition인용 수 34

한 줄 요약

이 논문은 비모수 학습을 위한 난수 특징을 활용한 확률적 경사 하강법(SGD)을 연구하며, 오직 $\sqrt{n}$개의 난수 특징으로도 최적의 $O(1/\sqrt{n})$ 일반화 오차를 달성할 수 있음을 보여준다. 이 방법은 학습률, 미니배치 크기, 반복 횟수와 같은 초매개변수를 통해 암시적 정규화를 유도하며, 명시적 페널티 없이도 대규모 학습을 효율적으로 수행할 수 있다.

ABSTRACT

Sketching and stochastic gradient methods are arguably the most common techniques to derive efficient large scale learning algorithms. In this paper, we investigate their application in the context of nonparametric statistical learning. More precisely, we study the estimator defined by stochastic gradient with mini batches and random features. The latter can be seen as form of nonlinear sketching and used to define approximate kernel methods. The considered estimator is not explicitly penalized/constrained and regularization is implicit. Indeed, our study highlights how different parameters, such as number of features, iterations, step-size and mini-batch size control the learning properties of the solutions. We do this by deriving optimal finite sample bounds, under standard assumptions. The obtained results are corroborated and illustrated by numerical experiments.

연구 동기 및 목표

• SGD와 난수 특징을 활용한 비모수 회귀에서 통계적이고 계산적인 상호 교환 관계를 분석하기 위해.
• 학습률, 미니배치 크기, 반복 횟수와 같은 초매개변수로부터 암시적 정규화가 어떻게 유도되는지 이해하기 위해.
• 기본 가정 하에 SGD와 난수 특징 추정기의 유한 표본 일반화 경계를 유도하기 위해.
• SUSY와 HIGGS와 같은 실제 데이터셋에서 이론적 결과를 실험적으로 검증하기 위해.
• $\sqrt{n}$개의 난수 특징으로도 최적의 학습률을 확보할 수 있으며, 명시적 정규화를 피할 수 있음을 보여주기 위해.

제안 방법

• 난수 특징을 사용해 재생 핵 힐버트 공간 상에서 최소 제곱 회귀 문제로 학습 문제를 수립한다.
• 난수 특징 매핑 $\phi_M(x)$를 활용해 미니배치 확률적 경사 하강법을 적용하여 모델 가중치 $w$를 추정한다.
• 이동 불변 커널을 근사하기 위해 i.i.d. $w \sim \mathcal{N}(0, \Sigma)$와 $q \sim \text{Unif}[0, 2\pi]$를 사용한 난수 푸리에 특징을 적용한다.
• 제한된 특징 매핑과 서브가우시안 노이즈를 포함한 기본 가정 하에서 추정기 분석을 수행한다.
• SGD와 난수 특징을 릿지 회귀와 연관지워 커널 오퍼레이터의 스펙트럼 성질을 활용함으로써 유한 표본 경계를 유도한다.
• 커널 방법과 난수 행렬 이론의 이론적 도구를 사용해 $M$, $n$, $T$, $b$, 및 $\gamma_t$ 간의 상호작용을 특성화한다.

실험 결과

연구 질문

• RQ1 SGD와 난수 특징을 사용할 때 $O(1/\sqrt{n})$ 일반화 오차를 달성하기 위해 필요한 최적의 난수 특징 수 $M$은 얼마인가?
• RQ2 학습률 $\gamma_t$, 미니배치 크기 $b$, 반복 횟수 $T$는 해의 안정성과 일반화에 어떤 영향을 미치는가?
• RQ3 SGD와 난수 특징을 통한 암시적 정규화는 릿지 회귀와 같은 명시적 정규화와 동일한 통계적 성능을 달성할 수 있는가?
• RQ4 이 프레임워크에서 계산 비용(예: 데이터 통과 횟수, 배치 크기)과 테스트 오차 사이의 상충 관계는 무엇인가?
• RQ5 특징 수 $M \sim \sqrt{n}$일 때 성능이 $n$ 증가에 따라 어떻게 변화하는가? 더 이상 $M$을 늘여도 정확도가 향상되는가?

주요 결과

• 추정기는 오직 $M = \Theta(\sqrt{n})$개의 난수 특징으로도 $O(1/\sqrt{n})$ 일반화 오차를 달성하며, 릿지 회귀의 최적 속도를 충족한다.
• $\sqrt{n}$을 초과하는 난수 특징 수를 늘여도 테스트 정확도 향상이 없음을 확인하여 이론적 예측을 뒷받침한다.
• 학습률 $\gamma_t$는 미니배치 크기 $b$에 비례하여 조정되어야 최적의 성능을 유지할 수 있으며, 더 큰 $b$는 더 큰 $\gamma_t$를 허용한다.
• 미니배치 크기가 $\sqrt{n}$을 초과할 경우, 단일 데이터 통과로는 최적 오차에 도달하지 못하며, 다중 통과가 필요하다.
• 명시적 정규화 없이도 $M$, $T$, $b$, $\gamma_t$를 통한 암시적 제어를 통해 최적의 통계적 성능을 달성한다.
• SUSY와 HIGGS 데이터셋에 대한 수치 실험 결과, $M \sim \sqrt{n}$을 초과하면 테스트 오차가 더 이상 감소하지 않으며, 최적 오차에 도달하기 위해서는 $\gamma_t$가 $b$에 비례해야 함을 확인한다.