[논문 리뷰] Competing with the Empirical Risk Minimizer in a Single Pass

Roy Frostig, Rong Ge외 2명|arXiv (Cornell University)|2014. 12. 20.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 30

한 줄 요약

이 논문은 선형 시간 및 공간에서 데이터를 한 번만 스캔하는 단일 패assing 스트리밍 알고리즘을 제안하며, 경험적 위험 최소화자(ERM)의 통계적 수렴 속도를 재현한다. 초기 오차의 초다항 감쇠를 달성하고 ERM 수준의 성능을 내며, 유한 샘플 보장을 제공한다. 선형 회귀 및 로지스틱 회귀 문제에 대해 표준 부드러움과 강력한 볼록성 가정 하에서 유한 샘플 보장을 제공한다.

ABSTRACT

In many estimation problems, e.g. linear and logistic regression, we wish to minimize an unknown objective given only unbiased samples of the objective function. Furthermore, we aim to achieve this using as few samples as possible. In the absence of computational constraints, the minimizer of a sample average of observed data -- commonly referred to as either the empirical risk minimizer (ERM) or the $M$-estimator -- is widely regarded as the estimation strategy of choice due to its desirable statistical convergence properties. Our goal in this work is to perform as well as the ERM, on every problem, while minimizing the use of computational resources such as running time and space usage. We provide a simple streaming algorithm which, under standard regularity assumptions on the underlying problem, enjoys the following properties: * The algorithm can be implemented in linear time with a single pass of the observed data, using space linear in the size of a single sample. * The algorithm achieves the same statistical rate of convergence as the empirical risk minimizer on every problem, even considering constant factors. * The algorithm's performance depends on the initial error at a rate that decreases super-polynomially. * The algorithm is easily parallelizable. Moreover, we quantify the (finite-sample) rate at which the algorithm becomes competitive with the ERM.

연구 동기 및 목표

• 경험적 위험 최소화자(ERM)의 수렴 속도와 동일한 통계적 성능을 달성하는 계산적으로 효율적인 알고리즘을 개발하기 위해.
• 모든 문제에서 ERM 수준의 정확도를 달성하면서도 실행 시간과 메모리 자원을 최소화하기 위해.
• 알고리즘이 ERM에 경쟁 가능한 수준이 되는 유한 샘플 속도를 정량화하기 위해, 특히 초기 오차 감쇠 속도를 고려하기 위해.
• 알고리즘이 쉽게 병렬화 가능하고 대규모 스트리밍 데이터에 적합하도록 하기 위해.
• 선형 회귀를 초월한 더 넓은 M-추정 문제 클래스에 대해 유한 샘플 분석을 제공하기 위해.

제안 방법

• 알고리즘은 단일 데이터 스캔 환경을 고려해 수정된 확률적 분산 감소 경사하강법(SVRG)의 변종이다.
• 기준점에서의 기울기 및 헤시안 행렬 추정치를 실시간으로 유지하며, 주기적으로 갱신하여 분산을 줄인다.
• 일정한 스텝 사이즈를 사용하고, 조건 수 $\kappa = L/\mu$ 를 제어함으로써 수렴을 보장한다. 여기서 $L$ 은 부드러움 계수이고 $\mu$ 는 강력한 볼록성 계수이다.
• 최적점에서 경험적 기울기와 진짜 기울기 사이의 이탈을 제어하기 위해 고확률 사건 $\mathcal{E}$ 를 도입한다.
• 헤시안 행렬 근사치의 고유값 한계를 활용하여 초과 위험을 $w_*$ 에서 경험적 기울기의 노름과 연결한다.
• 집중 불등식과 尾 확률 경계를 조합하여 핵심 사건의 실패 확률이 $O(1/N^p)$ 의 속도로 감소함을 보이며, 이는 유한 샘플 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일정한 요소를 고려할 때, 단일 패assing 스트리밍 알고리즘이 ERM와 동일한 통계적 수렴 속도를 달성할 수 있는가?
• RQ2 알고리즘의 초기 오차 감쇠 속도는 얼마나 빠른가? 그리고 다항식 감쇠 속도를 초월할 수 있는가?
• RQ3 알고리즘이 ERM와 경쟁 가능한 수준이 되는 데 필요한 유한 샘플 크기의 임계값은 무엇인가?
• RQ4 알고리즘이 수렴 보장을 유지하면서도 병렬화가 가능한가?
• RQ5 선형 회귀와 같은 문제에서 조건 수 $\kappa = L/\mu$ 는 알고리즘 성능에 어떤 영향을 미치는가?

주요 결과

• 표준 부드러움과 강력한 볼록성 가정 하에서, 일정한 요소를 고려할지라도 알고리즘이 ERM와 동일한 통계적 수렴 속도를 달성한다.
• 데이터를 한 번만 스캔하고 단일 샘플 크기 비례의 선형 공간을 사용하므로, 효율적인 스트리밍 구현이 가능하다.
• 초기 오차는 $N/\kappa$ 에 대해 어떤 다항식보다도 초다항적으로 감쇠되며, 여기서 $N$ 은 샘플 크기이고 $\kappa$ 는 조건 수이다.
• 샘플 크기 $N$ 이 조건 수 $\kappa$ 의 일정한 배수를 초과할 때 알고리즘이 ERM와 경쟁 가능해지며, 초과 위험 측면에서 유한 샘플 보장이 정량화된다.
• 초과 위험는 고확률로 $O(\sigma^2 / N)$ 이하로 제한되며, 이는 ERM의 유한 샘플 속도와 일정한 요소 이내로 일치한다.
• 알고리즘은 병렬화가 매우 쉽다. 각 데이터 스캔 단위를 병렬로 분배할 수 있으며, 수렴 성질에 영향을 주지 않는다.