[논문 리뷰] Accelerated Stochastic Subgradient Methods under Local Error Bound Condition

Yi Xu, Qihang Lin외 1명|arXiv (Cornell University)|2016. 07. 04.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 10

한 줄 요약

이 논문은 국소 오차 유계 조건을 활용하여 비강력 볼록 최적화를 위한 두 가지 가속화된 확률적 하향법을 제안한다. 이는 이전 해 주변의 점점 작아지는 국소 영역에서 문제를 반복적으로 해결함으로써, 명시적 구역 제약 또는 암묵적 정규화를 사용하여 고도로 가속된 고확률적 반복 복잡도를 달성한다. 이는 최적 집합까지의 초기 거리에 대해 로그적 의존성을 가지며, 특히 $ε$-정규화된 다각형 손실 문제에서 $ε$-최적 해를 구하기 위한 복잡도도 로그적이다.

ABSTRACT

In this paper, we propose two {\bf accelerated stochastic subgradient} methods for stochastic non-strongly convex optimization problems by leveraging a generic local error bound condition. The novelty of the proposed methods lies at smartly leveraging the recent historical solution to tackle the variance in the stochastic subgradient. The key idea of both methods is to iteratively solve the original problem approximately in a local region around a recent historical solution with size of the local region gradually decreasing as the solution approaches the optimal set. The difference of the two methods lies at how to construct the local region. The first method uses an explicit ball constraint and the second method uses an implicit regularization approach. For both methods, we establish the improved iteration complexity in a high probability for achieving an $\epsilon$-optimal solution. Besides the improved order of iteration complexity with a high probability, the proposed algorithms also enjoy a logarithmic dependence on the distance of the initial solution to the optimal set. We also consider applications in machine learning and demonstrate that the proposed algorithms enjoy faster convergence than the traditional stochastic subgradient method. For example, when applied to the $\ell_1$ regularized polyhedral loss minimization (e.g., hinge loss, absolute loss), the proposed stochastic methods have a logarithmic iteration complexity.

연구 동기 및 목표

• 비강력 볼록 최적화에서 기존의 확률적 하향법의 느린 수렴 문제를 해결하기 위해.
• 국소 오차 유계 조건 하에서 $ε$-최적 해를 달성하기 위한 반복 복잡도를 향상시키기 위해.
• 이전 해 정보를 활용하여 최적 집합까지의 초기 거리에 대한 의존도를 줄이기 위해.
• 확률적 하향도의 분산을 다루면서도 가속화를 유지할 수 있는 방법을 설계하기 위해.
• 기계 학습 응용 분야(예: $µ_1$-정규화된 허프링 손실 및 절대 손실 최소화)에서 실용적 이점을 입증하기 위해.

제안 방법

• 최근의 이전 해 주변의 국소 영역을 사용하며, 반복이 최적 집합에 가까워질수록 영역 크기가 점점 줄어든다.
• 첫 번째 방법은 이전 해를 중심으로 한 명시적 구역 제약을 통해 검색 공간을 제한한다.
• 두 번째 방법은 명시적 제약 없이 국소 영역의 형태를 조절하는 암묵적 정규화 접근법을 사용한다.
• 두 방법 모두 점점 작아지는 국소 영역 내에서 원래 목표 함수를 근사적으로 최소화하여 하향도의 분산을 줄인다.
• 알고리즘은 향상된 반복 복잡도를 달성하는 고확률 수렴 보장을 갖도록 설계되어 있다.
• 국소 오차 유계 조건을 활용하여, 해가 최적 집합에 가까워질수록 성과가 가속화됨을 보장한다.

실험 결과

연구 질문

• RQ1 강력 볼록성 조건이 없더라도 국소 오차 유계 조건 하에서 확률적 하향법을 가속화할 수 있는가?
• RQ2 명시적 구역 제약과 암묵적 정규화 중 어떤 선택이 수렴 성능에 영향을 미치는가?
• RQ3 제안된 방법이 $ε$-최적 해를 달성하기 위해 고확률 반복 복잡도는 얼마인가?
• RQ4 제안된 방법이 최적 집합까지의 초기 거리에 대해 로그적 의존성을 가지는가?
• RQ5 이 방법들은 $µ_1$-정규화된 다각형 손실 최소화와 같은 기계 학습 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 기존의 확률적 하향법에 비해 향상된 고확률 반복 복잡도를 달성한다.
• 반복 복잡도는 최적 집합까지의 초기 거리에 대해 로그적 의존성을 보이며, 이는 기존 방법의 다항식 의존성에 비해 상당한 개선이다.
• $µ_1$-정규화된 다각형 손실 최소화 문제(예: 허프링 손실, 절대 손실)에서는 원하는 정확도 $ε$에 대해 반복 복잡도가 로그적이다.
• 국소 하위문제에서 이전 해를 활용함으로써 확률적 하향도의 분산이 효과적으로 감소한다.
• 암묵적 정규화 변형은 명시적 구역 제약 방법과 유사한 성능을 달성하면서도 더 높은 알고리즘 유연성을 제공한다.
• 기계 학습 응용 분야에서의 실험 결과는 기존의 확률적 하향법보다 더 빠른 수렴을 보였다.