[논문 리뷰] A Unified Analysis of Stochastic Optimization Methods Using Jump System Theory and Quadratic Constraints

Bin Hu, Peter Seiler외 1명|arXiv (Cornell University)|2017. 06. 25.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 점프 시스템 이론과 이차 제약 조건을 사용하여 SAGA, Finito, SDCA와 같은 확률적 최적화 방법을 통합적으로 분석하는 프레임워크를 제안한다. 이러한 방법들을 선형 점프 시스템과 정적 비선형성의 상호연결으로 모델링함으로써, 개별 함수의 볼록성 조건 없이도 선형 수렴 속도를 보증하는 선형 행렬부등식(LMI) 조건을 유도한다. 또한 소규모 LMI를 해석적으로 풀어 SAGA, Finito, SDCA에 대한 새로운 수렴 경계를 증명한다.

ABSTRACT

We develop a simple routine unifying the analysis of several important recently-developed stochastic optimization methods including SAGA, Finito, and stochastic dual coordinate ascent (SDCA). First, we show an intrinsic connection between stochastic optimization methods and dynamic jump systems, and propose a general jump system model for stochastic optimization methods. Our proposed model recovers SAGA, SDCA, Finito, and SAG as special cases. Then we combine jump system theory with several simple quadratic inequalities to derive sufficient conditions for convergence rate certifications of the proposed jump system model under various assumptions (with or without individual convexity, etc). The derived conditions are linear matrix inequalities (LMIs) whose sizes roughly scale with the size of the training set. We make use of the symmetry in the stochastic optimization methods and reduce these LMIs to some equivalent small LMIs whose sizes are at most 3 by 3. We solve these small LMIs to provide analytical proofs of new convergence rates for SAGA, Finito and SDCA (with or without individual convexity). We also explain why our proposed LMI fails in analyzing SAG. We reveal a key difference between SAG and other methods, and briefly discuss how to extend our LMI analysis for SAG. An advantage of our approach is that the proposed analysis can be automated for a large class of stochastic methods under various assumptions (with or without individual convexity, etc).

연구 동기 및 목표

• 최근의 확률적 1차 최적화 방법들인 SAGA, Finito, SDCA의 수렴 분석을 통합하여, 기존의 사례별 증명에 의존하지 않도록 하는 것.
• SAG, SAGA, Finito, SDCA를 특수 케이스로 포함하는 일반적인 점프 시스템 모델을 개발하는 것.
• 점프 시스템 이론과 단순한 이차 제약 조건을 활용하여, 다양한 가정(예: 개별 함수의 볼록성 유무) 하에서 선형 수렴 속도를 보장하는 충분한 LMI 조건을 도출하는 것.
• 유도된 소규모 LMI(최대 3×3)를 해석적으로 풀어 SAGA, Finito, SDCA에 대한 새로운 수렴 속도를 증명하는 것.
• 제안된 LMI 프레임워크가 SAG를 분석하지 못하는 이유를 설명하고, 더 고급 이차 부등식을 사용한 확장 가능성을 제안하는 것.

제안 방법

• 확률적 최적화 방법의 동역학을 선형 정수계수 시스템과 정적 비선형성의 상호연결으로 모델링하는 일반적인 점프 시스템 모델을 제안하며, 점프 파라미터는 유한 합에서 개별 함수의 랜덤 선택을 나타낸다.
• 점프 시스템에 대한 리아푸노프 이론을 적용하여 최적화 반복의 선형 수렴을 보장하는 선형 행렬부등식(LMI) 조건을 도출한다.
• 이차 제약 조건을 통합하여 매끄럽기성과 강한 볼록성 등의 함수 성질을 특성화함으로써, 리프시츠 상수 L과 강한 볼록성 파라미터 m 등의 문제 파라미터에 의존하는 LMI 조건을 수립한다.
• 확률적 방법의 대칭성을 활용하여 대규모 LMI를 최대 3×3 크기의 등가 소규모 LMI로 축소함으로써 해석적 해법이 가능하도록 한다.
• 통합된 LMI 조건을 적용하여 SAGA, Finito, SDCA의 다양한 가정 하에서의 수렴 속도 증명을 도출한다. 이는 개별 함수의 볼록성 조건 없이도 적용 가능하다.
• SAG와 다른 방법들 사이의 핵심적인 구조적 차이를 규명한다: SAG는 볼록성의 표현 방식이 더 복잡하여 현재 프레임워크가 포괄하지 못하는 더 복잡한 이차 제약 조건이 필요하며, 고급 부등식을 사용한 확장 가능성을 제안한다.

실험 결과

연구 질문

• RQ1 SAGA, Finito, SDCA와 같은 여러 확률적 1차 최적화 방법을 하나의 분석 기법으로 통합적으로 분석할 수 있는 프레임워크를 개발할 수 있는가?
• RQ2 점프 시스템 이론과 이차 제약 조건을 어떻게 조합하여 확률적 최적화에 대한 LMI 기반 수렴 조건을 도출할 수 있는가?
• RQ3 제안된 LMI 프레임워크가 SAG를 분석하지 못하는 이유는 무엇이며, SAG에서 요구하는 더 고급 제약 조건이 필요한 구조적 차이는 무엇인가?
• RQ4 제안된 프레임워크는 개별 함수의 볼록성 조건 없이도 SAGA, Finito, SDCA에 대한 새로운 수렴 속도 경계를 도출할 수 있는가?
• RQ5 LMI 분석이 얼마나 자동화되거나 반자동화될 수 있으며, 이를 통해 리아푸노프 함수와 증명의 구성에 어떻게 도움이 될 수 있는가?

주요 결과

• 제안된 점프 시스템 모델은 SAG, SAGA, Finito, SDCA를 특수 케이스로 포함하며, 이들 방법에 대한 공통된 동적 프레임워크를 제공한다.
• 프레임워크는 학습 데이터 크기와 비례하는 스케일러블한 LMI 조건을 도출하지만, 대칭성을 활용해 최대 3×3 크기의 소규모 LMI로 축소하여 해석적 해법이 가능하다.
• SAGA의 경우 개별 함수의 볼록성 조건 없이도 ε-최적의 반복 복잡도가 Õ((L²/m² + n) log(1/ε))임을 증명한다.
• Finito의 경우 개별 함수의 볼록성 조건 없이 n ≥ 48L²/m² 조건 하에서 ε-최적의 복잡도가 Õ(n log(1/ε))임을 확보한다.
• 분석 결과, SAG는 SAGA, Finito, SDCA와 달리 볼록성의 표현 방식이 다르므로 더 복잡한 이차 제약 조건이 필요하며, 이는 현재 LMI 프레임워크가 SAG를 분석하지 못하는 이유를 설명한다.
• 이 프레임워크는 반복 가능하고 반자동화 가능한 수렴 분석 접근법을 제공하며, 수치적 LMI 해법이 해석적 리아푸노프 함수와 부등식의 구성에 도움을 줄 수 있다.