[논문 리뷰] Accelerate Stochastic Subgradient Method by Leveraging Local Error Bound.

Yi Xu, Qihang Lin외 1명|arXiv (Cornell University)|2016. 07. 04.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 국소 오차 유계 조건을 활용하여 비강력 볼록 최적화를 위한 두 가지 가속화된 확률적 하향법을 제안한다. 역사적 해를 중심으로 하는 국소 영역을 적응적으로 축소함으로써(명시적 구역 제약 조건 또는 암시적 정규화를 통해), 고확률적 반복 복잡도를 향상시켜 최적 집합까지의 초기 거리에 대해 로그적 의존성을 확보한다. 특히 ℓ₁-정규화된 다각형 손실에 대해 로그적 복잡도를 달성한다.

ABSTRACT

In this paper, we propose two accelerated stochastic {\bf subgradient} methods for stochastic non-strongly convex optimization problems by leveraging a generic local error bound condition. The novelty of the proposed methods lies at smartly leveraging the recent historical solution to tackle the variance in the stochastic subgradient. The key idea of both methods is to iteratively solve the original problem approximately in a local region around a recent historical solution with size of the local region gradually decreasing as the solution approaches the optimal set. The difference of the two methods lies at how to construct the local region. The first method uses an explicit ball constraint and the second method uses an implicit regularization approach. For both methods, we establish the improved iteration complexity in a high probability for achieving an $\epsilon$-optimal solution. Besides the improved order of iteration complexity with a high probability, the proposed algorithms also enjoy a logarithmic dependence on the distance of the initial solution to the optimal set. When applied to the $\ell_1$ regularized polyhedral loss minimization (e.g., hinge loss, absolute loss), the proposed stochastic methods have a logarithmic iteration complexity.

연구 동기 및 목표

• 비강력 볼록 설정에서 확률적 하향법의 느린 수렴 문제를 해결하기 위해.
• 고확률적으로 ε-최적 해를 달성하기 위한 반복 복잡도를 향상시키기 위해.
• 강력 볼록성을 요구하지 않고도 국소 오차 유계 조건을 활용하여 수렴 속도를 가속화하기 위해.
• 최적 집합까지의 초기 거리에 대해 로그적 의존성을 확보하기 위해.
• ℓ₁-정규화된 다각형 손실 최소화 문제에 대해 효과적으로 적용하기 위해.

제안 방법

• 알고리즘은 최근 역사적 해를 중심으로 하는 점점 작아지는 국소 영역 내에서 원래 문제를 근사적으로 반복적으로 해결한다.
• 국소 영역은 명시적 구역 제약 조건 또는 정규화를 통한 암시적 방식으로 정의되며, 국소 오차 유계 구조에 적응한다.
• 해가 최적 집합에 가까워질수록 국소 영역의 크기가 점차 감소하여 분산 감소 효과를 높인다.
• 알고리즘은 확률적 하향도를 사용하지만, 과거 해 주변의 국소 근사에 집중함으로써 분산을 줄인다.
• 이론적 분석을 통해 개선된 반복 복잡도 경계를 갖는 고확률 수렴을 확립한다.
• 특히 힌지 손실 또는 절대 손실과 같은 다각형 손실을 갖는 ℓ₁-정규화 문제에 대해 매우 효과적이다.

실험 결과

연구 질문

• RQ1 국소 오차 유계 조건을 활용하여 비강력 볼록 설정에서 확률적 하향법의 수렴 속도를 가속화할 수 있는가?
• RQ2 명시적 구역 제약 조건과 암시적 정규화 중 어떤 선택이 수렴 성능에 영향을 미치는가?
• RQ3 국소 오차 유계 가정을 사용할 경우 도출되는 반복 복잡도는 무엇인가?
• RQ4 이 방법이 최적 집합까지의 초기 거리에 대해 로그적 의존성을 달성하는가?
• RQ5 제안된 방법이 ℓ₁-정규화된 다각형 손실 최소화 문제에 대해 개선된 복잡도를 달성하는가?

주요 결과

• 제안된 방법은 비강력 볼록 확률적 최적화에서 ε-최적성 달성을 위한 고확률 반복 복잡도를 향상시킨다.
• 반복 복잡도는 최적 집합까지의 초기 거리에 대해 로그적 의존성을 보이며, 해에 가까워질수록 수렴 속도가 향상된다.
• ℓ₁-정규화된 다각형 손실 최소화 문제에 대해서는 로그적 반복 복잡도를 달성하여 기존 방법에 비해 상당한 향상이 있다.
• 국소 오차 유계 조건의 사용은 국소 하위문제 근사에 의한 분산 감소를 가능하게 한다.
• 명시적 및 암시적 방식을 통한 국소 영역 정의 모두 동일한 수렴 보장을 제공하며 복잡도가 향상된다.
• 이론적 분석은 국소 오차 유계에 대한 온건한 가정 하에 고확률 수렴이 보장됨을 확인한다.