[논문 리뷰] Stochastic first-order methods: non-asymptotic and computer-aided analyses via potential functions

Adrien Taylor, Francis Bach|arXiv (Cornell University)|2019. 02. 03.

Stochastic Gradient Optimization Techniques참고 문헌 73인용 수 13

한 줄 요약

이 논문은 잠재 함수를 이용한 확률적 1차 최적화 방법 분석을 위한 컴퓨터 지원, 반정형계획법 기반 프레임워크를 제안한다. 이 프레임워크는 다양한 노이즈 모델—유계 분산, 최적점에서의 분산, 블록좌표 설정—하에 비점근적 수렴 보장을 가능하게 하며, 구조화된 잠재 함수 설계를 통한 자동 매개변수 선택도 지원한다.

ABSTRACT

We provide a novel computer-assisted technique for systematically analyzing first-order methods for optimization. In contrast with previous works, the approach is particularly suited for handling sublinear convergence rates and stochastic oracles. The technique relies on semidefinite programming and potential functions. It allows simultaneously obtaining worst-case guarantees on the behavior of those algorithms, and assisting in choosing appropriate parameters for tuning their worst-case performances. The technique also benefits from comfortable tightness guarantees, meaning that unsatisfactory results can be improved only by changing the setting. We use the approach for analyzing deterministic and stochastic first-order methods under different assumptions on the nature of the stochastic noise. Among others, we treat unstructured noise with bounded variance, different noise models arising in over-parametrized expectation minimization problems, and randomized block-coordinate descent schemes.

연구 동기 및 목표

• 스토케스틱 오라클 하에서 선형 수렴 속도를 갖는 1차 최적화 알고리즘을 체계적이고 컴퓨터 지원으로 분석하는 방법을 개발하기 위해.
• 이전의 잠재 함수 방법의 한계를 해결하기 위해, 유계 분산 및 최적점에서의 분산을 포함한 구조적 노이즈가 있는 스트로케스틱 설정의 분석을 가능하게 하기 위해.
• 알고리즘 또는 문제 설정을 변경하지 않는 한 향상될 수 없는 날카운 최악의 경우 수렴 보장을 제공하기 위해.
• 잠재 함수의 구조 최적화를 통한 분석 파이프라인 내 자동 매개변수 선택을 통합하기 위해.
• 유한합 최소화, 과다 매개변수화된 문제, 랜덤 블록좌표 강하와 같은 다양한 설정으로의 적용 가능성을 확장하기 위해.

제안 방법

• 알고리즘의 진전을 최적점과의 거리로 제한하는 잠재 함수를 사용하여 수렴 분석을 반정형계획문제(SDP)로 공식화하기 위해.
• 다음과 같은 리아프노프 유형의 잠재 함수를 사용: $ \varphi_k^f = d_k(f(x_k) - f^*) + \frac{L}{2}\|x_k - x^*\|^2 $, 여기서 $ d_k $ 는 적응적으로 변화한다.
• 반복 간에 잠재 함수의 기대 감소를 보장하는 선형행렬부등식(LMI) 조건을 유도하기 위해.
• 알고리즘 상태와 기울기를 바탕으로 그램 행렬 $ G = P^T P \succeq 0 $ 를 구성하여 LMI 부등식의 SDP 공식화를 가능하게 하기 위해.
• 최악의 경우 성능을 최적화하기 위해 잠재 함수 설계에 이중 최적화 단계를 도입하여 알고리즘 매개변수(예: 스텝 사이즈)를 자동 조정하기 위해.
• 알고리즘 상태와 기울기의 기대 제곱 노이즈에 대한 가정을 LMI 제약 조건에 직접 통합함으로써 다양한 노이즈 모델에 프레임워크를 적응시키기 위해.

실험 결과

연구 질문

• RQ1 스토케스틱 1차 최적화 방법에 대해 비점근적 수렴 속도를 유도할 수 있는 체계적이고 컴퓨터 지원 방법을 개발할 수 있는가?
• RQ2 어떻게 잠재 함수를 구성하면 알고리즘 또는 문제 구조를 변경하지 않는 한 향상될 수 없는 날카운 최악의 경우 보장을 얻을 수 있는가?
• RQ3 이 프레임워크는 유계 분산, 최적점에서의 분산, 블록좌표 오라클을 포함한 다양한 스트로케스틱 노이즈 모델을 얼마나 잘 처리할 수 있는가?
• RQ4 이 방법은 최악의 경우 성능을 최적화하기 위해 동시에 수렴 분석과 자동 매개변수 선택을 지원할 수 있는가?
• RQ5 다양한 스트로케스틱 오라클 가정 하에, 이 프레임워크는 강凸성과 비강凸성 설정으로 어떻게 일반화되는가?

주요 결과

• 프레임워크는 $ \mathbb{E}_i \|G(x;i)\|^2 \leq \sigma_*^2 + 2\rho_1 L(f(x) - f^*) + \rho_2 \|f'(x)\|^2 $ 라는 통합 분산 모델 하에서 확률적 경사하강법(SGD)에 대해 날카운 최악의 경우 수렴 보장을 달성하며, 명시적인 매개변수 조정이 가능하다.
• n개의 블록을 가진 블록좌표 강하의 경우, 기대값에서 선형 수렴을 증명한다: $ \mathbb{E}_{i_k} \|x_{k+1}^{(i_k)} - x^*\|^2 \leq \rho_2 \|x_k - x^*\|^2 $, 여기서 $ \rho_2 = \max\left\{ (\delta_k \mu - 1)^2 + \frac{n-1}{n}, (\delta_k L - 1)^2 + \frac{n-1}{n} \right\} $.
• 이 방법은 유한합 및 과다 매개변수화된 설정에서 SGD의 비점근적 수렴 속도를 제공하며, 균일하게 유계된 분산 가정이 실패하는 경우도 포함한다.
• 잠재 함수의 구조 최적화를 통한 자동 매개변수 선택을 가능하게 하여 수동 조정 없이도 최악의 경우 성능을 향상시킨다.
• 프레임워크는 최적점에서의 분산($ \sigma_*^2 $)과 비구조적 노이즈를 포함한 다양한 노이즈 모델에 대해 강건하며, 날카운 보장이 증명된 성능을 제공한다.
• 분석은 다수의 설정에서 검증되었으며, 경험적 리스크 최소화, 블록좌표 강하, 모멘텀이 있는 스트로케스틱 방법을 포함하여 광범위한 적용 가능성을 입증한다.