[논문 리뷰] Fast Rates of ERM and Stochastic Approximation: Adaptive to Error Bound Conditions

Mingrui Liu, Xiaoxuan Zhang외 3명|arXiv (Cornell University)|2018. 05. 11.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 오차 경계 조건(EBC) 하에서 경험이 기반으로 한 위험 최소화(ERM)와 확률적 근사(SA)에 대해 빠른 수렴 속도와 중간 수렴 속도를 확립하며, EBC의 거듭제곱 상수를 사전 지식 없이 자동으로 적응한다. 이는 단일 패assing SA 알고리즘을 사용하여 Õ(1/√n)에서 Õ(1/n)까지의 속도 스펙트럼을 달성하며, 특수한 경우에서는 1/n를 초월하는 가속화가 가능하다. 이 알고리즘은 효율적이면서도 적응 가능하다.

ABSTRACT

Error bound conditions (EBC) are properties that characterize the growth of an objective function when a point is moved away from the optimal set. They have recently received increasing attention in the field of optimization for developing optimization algorithms with fast convergence. However, the studies of EBC in statistical learning are hitherto still limited. The main contributions of this paper are two-fold. First, we develop fast and intermediate rates of empirical risk minimization (ERM) under EBC for risk minimization with Lipschitz continuous, and smooth convex random functions. Second, we establish fast and intermediate rates of an efficient stochastic approximation (SA) algorithm for risk minimization with Lipschitz continuous random functions, which requires only one pass of $n$ samples and adapts to EBC. For both approaches, the convergence rates span a full spectrum between $\\widetilde O(1/\\sqrt{n})$ and $\\widetilde O(1/n)$ depending on the power constant in EBC, and could be even faster than $O(1/n)$ in special cases for ERM. Moreover, these convergence rates are automatically adaptive without using any knowledge of EBC. Overall, this work not only strengthens the understanding of ERM for statistical learning but also brings new fast stochastic algorithms for solving a broad range of statistical learning problems.

연구 동기 및 목표

• 오차 경계 조건(EBC) 하에서 통계적 학습의 경험적 위험 최소화(ERM)에 대한 이해를 확장하기 위해.
• EBC의 지식이 없이도 빠른 수렴 속도를 달성하는 확률적 근사(SA) 알고리즘을 개발하기 위해.
• EBC의 본질적 특성에 자동으로 적응하는 ERM 및 SA의 수렴 속도를 확립하여 Õ(1/√n)에서 Õ(1/n)까지의 스펙트럼을 커버하기 위해.
• 리프시츠 연속성과 매끄러운 볼록 랜덤 함수를 갖는 위험 최소화에 대한 빠른 수렴 속도를 위한 통합 프레임워크를 제공하기 위해.

제안 방법

• 리프시츠 연속성과 매끄러운 볼록 랜덤 함수에 대해 오차 경계 조건(EBC) 하에서 ERM의 빠른 수렴 속도와 중간 수렴 속도를 유도한다.
• EBC의 거듭제곱 상수를 알지 못해도 적응 가능한 효율적인 단일 패assing 확률적 근사 알고리즘을 제안한다.
• 오차 경계 조건을 사용하여 최적 집합 근처에서 목적 함수의 성장률을 특성화함으로써 더 빠른 수렴 속도를 가능하게 한다.
• EBC의 거듭제곱 상수에 따라 수렴 속도를 결정하며, 더 강한 EBC에서는 더 날카운 경계를 제공한다.
• 확률적 근사 이론과 경험 과정 이론의 기법을 적용하여 EBC 하에서의 수렴 행동을 분석한다.
• 제안된 SA 알고리즘이 EBC 매개변수를 조정하거나 사전 지식 없이도 최적 또는 근접 최적의 속도를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 오차 경계 조건(EBC) 하에서 ERM에 대해 EBC의 거듭제곱 상수를 사전 지식 없이도 빠른 수렴 속도를 확립할 수 있는가?
• RQ2 EBC 하에서 빠른 속도를 자동으로 달성할 수 있도록 어떻게 확률적 근사 알고리즘을 설계할 수 있는가?
• RQ3 다양한 EBC 강도에 따라 ERM 및 SA에서 달성 가능한 수렴 속도의 전반적인 스펙트럼은 무엇인가?
• RQ4 제안된 SA 알고리즘이 데이터에 대해 단 한 번의 패assing만으로도 알려지지 않은 EBC에 적응하면서도 빠른 수렴을 유지할 수 있는가?
• RQ5 언제 ERM이 O(1/n)보다 더 빠른 속도를 달성할 수 있는가?

주요 결과

• 논문은 오차 경계 조건(EBC)의 거듭제곱 상수에 따라 Õ(1/√n)에서 Õ(1/n)까지의 스펙트럼을 커버하는 ERM의 수렴 속도를 확립한다.
• 특수한 경우, 예를 들어 EBC가 충분히 작은 거듭제곱 상수로 성립할 경우, ERM의 수렴 속도는 O(1/n)를 초월할 수 있다.
• 제안된 단일 패assing 확률적 근사 알고리즘은 EBC의 매개변수를 사전 지식 없이도 EBC에 자동으로 적응하는 빠른 수렴 속도와 중간 수렴 속도를 달성한다.
• SA 알고리즘의 수렴 속도는 자동으로 적응적이며 EBC의 강도에 따라 달라지며, 더 강한 EBC에서는 더 빠른 속도를 달성한다.
• 분석은 리프시츠 연속성과 매끄러운 볼록 랜덤 함수를 모두 포함하여 빠른 수렴 속도의 적용 가능성을 광범위한 통계적 학습 문제에까지 확장한다.
• 결과는 ERM과 제안된 SA 알고리즘이 EBC 하에서 최적 또는 근접 최적의 수렴 속도를 달성할 수 있음을 보여주며, 특히 SA 알고리즘이 효율적이며 데이터에 대해 단 한 번의 패assing만으로도 충분하다.