[논문 리뷰] Local Convergence Properties of SAGA/Prox-SVRG and Acceleration

Clarice Poon, Jingwei Liang외 1명|arXiv (Cornell University)|2018. 02. 07.

Sparse and Compressive Sensing Techniques참고 문헌 3인용 수 10

한 줄 요약

이 논문은 부분 미분가능성 하에서 SAGA 및 Prox-SVRG 알고리즘에 대해 국소 선형 수렴를 확립하며, 유한 시간 내의 다양체 식별과 고차수 방법을 통한 초선형 가속을 보여준다. 이는 구조적 비미분 최적화 문제에 적용된 보정된 분산 감소 확률적 경사 하강법에 대한 통합된 국소 수렴 프레임워크를 제공한다.

ABSTRACT

Over the past ten years, driven by large scale optimisation problems arising from machine learning, the development of stochastic optimisation methods have witnessed a tremendous growth. However, despite their popularity, the theoretical understandings of these methods are quite limited in contrast to the deterministic optimisation methods. In this paper, we present a local convergence analysis for a typical type of stochastic optimisation methods: proximal variance reduced stochastic gradient methods, and mainly focus on the SAGA [12] and Prox-SVRG [43] algorithms. Under the assumption that the non-smooth component of the optimisation problem is partly smooth relative to a smooth manifold, we present a unified framework for the local convergence analysis of the SAGA/Prox-SVRG algorithms: (i) the sequences generated by the SAGA/Prox-SVRG are able to identify the smooth manifold in a finite number of iterations; (ii) then the sequence enters a local linear convergence regime. Beyond local convergence analysis, we also discuss various possibilities for accelerating these algorithms, including adapting to better local parameters, and applying higher-order deterministic/stochastic optimisation methods which can achieve super-linear convergence. Concrete examples arising from machine learning are considered to verify the obtained results.

연구 동기 및 목표

• 기계 학습 분야에서 널리 사용되고 있음에도 불구하고, 확률적 최적화 방법에 대한 이론적 이해가 제한되어 있는 문제를 다루기 위해.
• 유한합 구조를 가진 비미분, 구조적 최적화 문제의 맥락에서 SAGA 및 Prox-SVRG의 국소 수렴 거동을 분석하기 위해.
• 이 알고리즘이 유한 반복 내에 기저의 저차원 다각체를 식별하고, 이후 선형 수렴를 보이게 되는 조건을 설정하기 위해.
• 향상된 국소 수렴 속도를 위한 가속 전략, 특히 적응형 파rameter 조정 및 고차수 방법을 탐색하기 위해.

제안 방법

• 분석은 비미분 정규화항이 해에서의 다각체에 대해 국소적으로 미분가능한 부분 미분가능성 개념에 기반한다.
• 이 가정 하에서 SAGA/Prox-SVRG의 다각체 식별 및 국소 선형 수렴를 연구하기 위한 통합 프레임워크를 개발한다.
• 보정된 분산 감소 경사 업데이트의 구조를 활용하며, 해의 다각체 근처에서 반복의 행동을 분석한다.
• 다각체의 탄젠트 공간에서 경사 하강 역학을 선형화하고, 투영 연산자와 헤시안 근사치를 사용하여 국소 수렴를 확립한다.
• 초선형 수렴를 달성하는 적응형 스텝 사이즈 및 고차수 결정론적/확률적 방법의 적용을 통한 가속을 탐색한다.
• 구체적인 기계 학습 예제를 통해 이론적 결과를 검증하며, LASSO 및 기타 비미분 정규화항을 가진 유한합 문제를 포함한다.

실험 결과

연구 질문

• RQ1 SAGA 및 Prox-SVRG는 어떤 조건에서 해의 저차원 다각체를 유한 반복 내에 식별하는가?
• RQ2 해의 다각체가 식별된 후 SAGA/Prox-SVRG의 국소 수렴 속도는 어떻게 되는가?
• RQ3 적응형 파arameter 선택 또는 고차수 방법을 통해 국소 수렴 속도를 향상시킬 수 있는가?
• RQ4 정규화항의 부분 미분가능성이 확률적 보정 방법의 수렴 거동에 어떤 영향을 미치는가?
• RQ5 헤시안과 탄젠트 공간 투영의 역할은 국소 수렴 역학을 기술하는 데 어떤가?

주요 결과

• 부분 미분가능성 가정 하에서 SAGA 및 Prox-SVRG는 해의 미분가능한 다각체를 유한 반복 내에 식별한다.
• 다각체 식별 후 반복들은 Hessian과 접근 연산자 구조에 의해 결정되는 국소 선형 수렴 영역에 진입한다.
• 수렴 속도는 다각체의 탄젠트 공간에서 선형화된 업데이트 연산자의 스펙트럼 성질에 의해 결정된다.
• 적응형 스텝 사이즈 선택 및 고차수 방법은 초선형 국소 수렴를 달성하여 기존의 선형 속도를 초월한다.
• 이론적 분석은 반복들이 $ \mathcal{O}(\|x_k - x^*\|) $ 의 속도로 국소적으로 수렴하며, 오차 항이 투영 및 헤시안 근사치를 통해 제어됨을 확인한다.
• LASSO와 같은 구체적인 예제들은 이론적 결과를 검증하며, 실질적으로 유한 시간 내 다각체 식별과 선형 수렴를 보여준다.