[논문 리뷰] First-Order Adaptive Sample Size Methods to Reduce Complexity of Empirical Risk Minimization

Aryan Mokhtari, Alejandro Ribeiro|arXiv (Cornell University)|2017. 09. 02.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 초기에 작은 부분집합으로 시작하여 기하급수적으로 증가시키는 적응형 샘플 크기 방법을 제안한다. 이는 계산 복잡도를 줄이기 위한 것으로, 온난 시작(warm starts)과 적응형 정규화를 통해 조건 수(condition number)를 향상시켜, 표준 1차 방법(예: 가속 경사 하강법과 SVRG)에 비해 기울기 평가 횟수를 로그적 감소시킨다. 특히, 기울기 평가 횟수는 $ \log(N^\alpha) $ 요소로 감소한다.

ABSTRACT

This paper studies empirical risk minimization (ERM) problems for large-scale datasets and incorporates the idea of adaptive sample size methods to improve the guaranteed convergence bounds for first-order stochastic and deterministic methods. In contrast to traditional methods that attempt to solve the ERM problem corresponding to the full dataset directly, adaptive sample size schemes start with a small number of samples and solve the corresponding ERM problem to its statistical accuracy. The sample size is then grown geometrically -- e.g., scaling by a factor of two -- and use the solution of the previous ERM as a warm start for the new ERM. Theoretical analyses show that the use of adaptive sample size methods reduces the overall computational cost of achieving the statistical accuracy of the whole dataset for a broad range of deterministic and stochastic first-order methods. The gains are specific to the choice of method. When particularized to, e.g., accelerated gradient descent and stochastic variance reduce gradient, the computational cost advantage is a logarithm of the number of training samples. Numerical experiments on various datasets confirm theoretical claims and showcase the gains of using the proposed adaptive sample size scheme.

연구 동기 및 목표

• 1차 방법을 사용한 대규모 ERM 문제 해결에 따른 높은 계산 비용을 해결한다.
• 진짜 위험 최소화의 대체 수단인 ERM의 통계적 정확도를 활용하여 의미 있는 수렴을 넘어서 최적화하는 것을 방지한다.
• 다른 샘플 크기를 가진 ERM 문제들 간의 구조적 유사성을 이용해 수렴 효율을 향상시킨다.
• 기하급수적인 훈련 부분집합 증가와 온난 시작을 통해 전체 계산 복잡도를 감소시키는 방법을 개발한다.
• 결정적 및 비결정적 1차 방법이 ERM에 적용되었을 때 향상된 수렴 경계를 달성한다.

제안 방법

• 작은 초기 샘플 크기로 시작하여, 해당 부분집합에서 ERM 문제를 통계 정확도까지 해결한다.
• 강한 볼록성과 조건 수 $ \kappa_n $ 향상을 위해 $ V_n = \gamma / n^\alpha $ 순서의 적응형 정규화를 사용하되, 목표 정확도를 변경하지 않는다.
• 샘플 크기를 기하급수적으로 증가시켜(예: 각 단계에서 두 배로) 이전 단계의 해를 다음 단계의 온난 시작으로 사용한다.
• 각 하위문제에 대해 가속 경사 하강법(AGD) 또는 SVRG과 같은 1차 방법을 적용하며, 개선된 조건 수를 바탕으로 수렴 경계를 유도한다.
• 각 단계에서 $ s_n $ 반복을 요구하여 전체 데이터셋의 통계 정확도 내로 수렴함을 확보한다. 여기서 $ s_n $ 은 $ n $ 에 대해 로그적으로 스케일링된다.
• 모든 단계에 걸쳐 총 계산 복잡도를 합산하여, 표준 방법에 비해 $ \log(N^\alpha) $ 요소로 감소한 결과를 도출한다.

실험 결과

연구 질문

• RQ1 적응형 샘플 크기 기반 방법이 표준 유한 합 최소화 경계를 초월하여 1차 방법의 ERM 문제에 대한 총 계산 복잡도를 감소시킬 수 있는가?
• RQ2 기하급수적인 훈련 부분집합 증가와 온난 시작이 수렴 속도와 총 기울기 평가 횟수에 어떤 영향을 미치는가?
• RQ3 적응형 정규화가 통계 정확도에 영향을 주지 않으면서도 조건 수를 얼마나 향상시켜 반복 횟수를 줄이는가?
• RQ4 이러한 방법을 가속 경사 하강법 또는 SVRG에 적용했을 때 이론적 계산 복잡도 향상은 어느 정도인가?
• RQ5 이 방법은 총 계산 비용을 줄이면서도 전체 데이터셋의 통계 정확도로 수렴을 유지하는가?

주요 결과

• 적응형 샘플 크기 방법은 가속 경사 하강법(AGD)의 총 계산 복잡도를 $ \mathcal{O}(N\sqrt{\kappa}) $ 로 줄여, 표준 AGD에 존재하는 $ \log(N^\alpha) $ 요소를 제거한다.
• SVRG의 경우 총 기울기 계산 횟수는 $ 4N \log_2\left[3 \cdot 2^\alpha + (2^\alpha - 1)(2 + c\|\mathbf{w}^*\|^2/2)\right] $ 이하로 제한되며, 이는 단계 수에 무관하고 $ N $ 에 대해 선형으로 스케일링된다.
• 이 방법은 ERM의 통계 정확도와 증가하는 샘플 크기 간의 ERM 문제 유사성 덕분에 복잡도를 로그적으로 감소시킨다. 특히, $ \log(N^\alpha) $ 요소로 감소한다.
• 이론적 분석 결과, 각 단계의 반복 수 $ s_n $ 은 $ n $ 에 대해 로그적으로 스케일링되며, 총 비용은 $ N \log N $ 이 아닌 상수 배수의 $ N $ 이하로 제한된다.
• 수치 실험 결과 이론적 주장이 확인되었으며, 다양한 데이터셋에서 표준 1차 방법에 비해 뚜렷한 속도 향상을 보였다.
• 기존의 강한 볼록성 조건이 필요한 적응형 방법과 달리, 이 방법은 볼록 함수뿐 아니라 비강한 볼록 함수에도 적용 가능하다.